мой вопрос вкратце: является ли пропускная способность VRAM у GPU действительно узким местом в отношении Deep Neural Networks?
Более длинная версия: парень по имени Тим Деттмерс написал в своем блоге, что все соответствующие операции на самом графическом процессоре выполняются быстрее, чем пропускная способность может предоставить новые данные. Кажется разумным. Но теперь я вчера выполнил свои собственные эксперименты и выяснил, что с моим GPU дело обстоит иначе. Это Nvidia GTX 560TI с 1 ГБ видеопамяти. Как вы можете видеть, это довольно медленная карта и не имеет много VRAM. С AlexNet и 128x128 изображениями и размером пакета 4 - более крупные не помещаются в мою VRAM - ситуация такова: часы памяти 2200 МГц: 13:34 минуты часы памяти 1650 МГц: 14:17 минуты
Почти нет ускорения. 95,3% времени с 1 1/3 тактовой частоты памяти. Теперь может быть так, что в моей ситуации графический процессор действительно медленный или размер пакета просто мал, и поэтому он ограничен пропускной способностью PCIe (PCIe 2.0). Я попробовал это также в собственной сети с параметрами ~ 1 млн. И различными размерами партии до 1024 с изображениями 40x40. Там это почти ничего не изменило.
После моего не слишком представительного эксперимента я все еще не уверен, что в действительности важно для производительности GPU.
Изменить: В этом случае каркас был Nvidia Digits с Nvidia Caffe Fork. Я знаю, что мой GPU очень медленный, но мой вопрос был связан с GPU в целом.