Я пытаюсь развить интуицию о том, насколько реализуемы / масштабируемы алгоритмы машинного обучения. Доминирующая стоимость - это всегда умножение матриц, но, похоже, нет готового ресурса Google для объяснения того, как выполнить вычисления конверта для умножения матриц.
Характеристики машины, которую я использую: у нее четырехъядерный процессор Ivy Bridge с тактовой частотой 2,8 ГГц, 8 МБ кэш-памяти третьего уровня, скорость шины 5 ГТ / с и 16 ГБ ОЗУ. Запись переполнения стека говорит, что Ivy Bridge имеет пропускную способность 8 DP-flops / секунду. Как мне объединить все эти числа, чтобы получить приблизительную оценку в секундах того, сколько времени потребуется для умножения двух матриц двойной точности заданных размеров, при условии, что матрицы и их произведение могут храниться в ОЗУ одновременно?