Варианты масштабируемых товарных GPU серверов для CUDA?

Question

Я занимаюсь машинным обучением, которое приносит огромную пользу от использования графического процессора. Я нахожусь в пределах моей текущей настройки (рабочая станция с одним GTX580), и у меня действительно нет места для другого компьютера дома. Поэтому я собираюсь построить сервер GPU (и, возможно, несколько из них) и пытаюсь найти наиболее экономичный способ сделать это.

В идеале я хотел бы создать что-то вроде серверов Tesla от NVidia (например, s2075), но с GTX580s вместо карт Tesla. Это позволяет установить 4 карты в корпус высотой 1U, который затем подключается через удлинители PCI-e к хост-системе. DIY-версия этого, кажется, не существует.

Так что мой следующий план - перейти на 4u и, в основном, включить стандартную сборку Quad SLI. Я бы, вероятно, использовал 2 блока питания по 850 Вт для питания 4 карт. Охлаждение также может быть проблемой.

Так что мои вопросы конкретно таковы:

• Если я в основном использую графический процессор и использую только процессор для обработки базовой логики и прочего, разумно ли использовать младший процессор, такой как i3?
• Если я захочу найти друг друга, разве это не будет довольно дорого / потреблять много энергии?
• Я поступаю неправильно, и есть ли гораздо более простой и экономически эффективный способ создания числовых процессоров GPU, а не хранить их в моей квартире?

Answer 1

Я провел немного больше исследований и собираюсь ответить на этот вопрос сам, если кто-то захочет сделать что-то подобное.

AWS (и другие поставщики) предоставляют услуги облачных вычислений на GPU. Это прекрасно работает для определенных приложений, но, конечно, не для всех. Насколько я могу судить, кластеры виртуализированных графических процессоров, как правило, работают медленнее, чем собственное оборудование, которое они рекламируют, и они дороги, если вы используете его довольно регулярно. Приложения, в которых может быть целесообразно создавать собственное оборудование, включают 3D-рендеринг и определенные типы машинного обучения, которые выигрывают от использования графического процессора. Если вы делаете только периодические вычисления чисел, облачный GPU - хороший выбор.

Итак, на мой первоначальный вопрос - лучший выбор для серверов с графическим процессором. В настоящее время GTX580 (~ $ 400) является отличным качеством по сравнению с НАМНОГО более дорогими картами Tesla и Quadro, и производительность сопоставима. Quadro 6000 в настоящее время стоит 6000 долл. И по показателям GPGPU (в частности, NQueens) работает примерно так же, как и 580. У Теслы больше встроенной памяти. 680 ограничен для GPGPU и не будет работать так же хорошо, как 580. Так что в середине-конце 2012 года купите GTX 580s.

Кажется, Quad SLI не стоит того. 4x SLI не в 4 раза быстрее. Но вы все равно можете добавить 4 GPU в вашу систему с 2x SLI, это, кажется, довольно хороший компромисс. Или просто оставьте их как отдельные карточки.

Похоже, вам понадобится шасси 4u, если вы хотите поместить его в стойку. Вы, вероятно, захотите 2 источника питания 750 Вт.

На процессоре - я не могу получить прямой ответ на этот вопрос. Для себя я, вероятно, получу нижний конец i5, а не i3.

Оттуда просто соберите столько систем, сколько вам нужно, поместите их в стойку (совместно или в серверной комнате), и все будет хорошо. Вы, вероятно, ищете менее 2500 долларов за единицу для теоретических 6 тфлопс с 4 gtx580s. Это довольно хороший удар для вашего доллара.

Для сравнения, nvidia tesla s1070 делает 4 тфлопа и стоит что-то вроде 8 000–10 000 долларов. Но это «корпоративная» цена за производительность, которую вы можете получить намного дешевле.

Счет за электроэнергию меня тоже интересовал, я не могу получить прямой ответ на этот вопрос, я подозреваю, что он будет высоким.

Answer 2

Большинство серверных шасси не рассчитано на количество тепла, которое собираются произвести 4 карты. И, похоже, ваши приложения будут подталкивать карты к пиковым уровням. Вам обязательно нужно будет внимательно следить за температурой отдельных карт, а также процессора. Вам вполне могут понадобиться дополнительные вентиляторы или даже перейти на решение с жидкостным охлаждением.

Другая проблема - это шум. Если это в пространстве Коло, ничего страшного. Тем не менее, вы сказали, что это может пойти в вашей квартире, и это может быть проблемой. Поклонники на потребительских видеокартах варьируются от поставщика к поставщику. Даже "тихие" вентиляторы на видеокартах имеют шум, и вы умножите его на 4, не говоря уже о дополнительных вентиляторах, используемых для охлаждения. Опять же, жидкий охлаждающий раствор может быть хорошим решением.

Answer 3

Если вам нужна производительность с плавающей запятой, используйте GTX680, он также более энергоэффективен, вы не будете платить столько за электричество. Если вам нужна двойная производительность с плавающей запятой, используйте GTX 580.
Посмотрите на это сообщение в блоге.
Также у renderstream был блог о сервере 8GPU 4U. Это 14 тысяч долларов. Исправлен BIOS для работы со всеми 8 картами. Я думаю, что только сервер barebones стоит 3k $.
Я также надеюсь, возможно, построить такую машину в будущем, я пока не уверен, стоит ли она того и стоит, и просто арендую ее, когда она мне понадобится. Это может быть хорошей идеей разделить стоимость и разделить машину, но в итоге мы можем наступить друг другу на ноги.

Answer 4

Я уверен, что Amazon предложит такую вещь.

Вероятно, гораздо дешевле, чем вы сможете сделать это тоже.

http://aws.amazon.com/hpc-applications/

http://hpc.nomad-labs.com/archives/65

Это позволило бы устранить большую сложность в том, что вы хотите сделать.