14

Кто-нибудь знает какие-нибудь ссылки / книги / что-нибудь, о чем вы можете подумать, которые описывают процесс создания небольшого домашнего кластера (когда я говорю « дом», это не обязательно означает, что вы должны оставаться дома - просто означает, что это относительно дешево и мало) для экспериментальные цели, с особым акцентом на том, какое оборудование будет сегодня адекватным, и какой-то анализ затрат?

Хотя, если бы кто-то здесь сделал это, я был бы признателен за весь опыт, которым вы можете поделиться.

7 ответов7

8

Хелмер приходит на ум. :)

4

На Hack A Day было представлено несколько кластеров Ikea:

3

Посмотрите книги Beowulf Cluster Computing Томаса Стерлинга (одна для Linux и одна для Windows). Они рассказывают вам все, что вам нужно знать об использовании MPI, чтобы ваши узлы могли общаться друг с другом.

Мы с другом создали кластер из 8 блоков, используя какое-то очень дрянное оборудование, и запустили на них Windows XP. Это были как Pentium I - коробки на 90 МГц. Значительно ниже спецификации, требуемой для Windows, но она работала нормально. Мы также запустили SQL Server 2000 на них (также значительно ниже рекомендуемых спецификаций) и выполнили моделирование ценовых опционов на акции Блэка-Шоулза.

Трудно порекомендовать, какое оборудование будет подходящим, не зная, что вы хотите сделать с вашим кластером. Но суть в том, что вы можете построить кластер из чего угодно.

2

Альтернативой наличию множества физических узлов кластера является создание виртуальных машин. У вас будет только одна или две настоящие физические машины, но вы можете смоделировать еще больше узлов. Это будет хорошо работать для создания, изучения и использования меньшего количества ресурсов (пространство, мощность, $$$).

Это не даст вам много анализа затрат, но поможет вам начать. Тип настройки кластера будет зависеть от типа работы, которую вы хотите создать для него. Вы можете иметь много маленьких узлов или иметь только несколько мощных узлов. Существуют также общие и неиспользуемые среды памяти. Какой тип параллельных программ вы хотите создать? Чем больше у вас физических узлов, тем больше пространства, мощности, охлаждения и сетевого взаимодействия вы должны учитывать. Иногда стоит использовать только один большой массивный компьютер (а среды с общей памятью легче программировать для IMHO).

Недавно я начал играть с кластером, собирая несколько случайных блоков P4, Ubuntu и LAM-MPI. Это определенно был опыт обучения.

На самом деле это была пара ноутбуков p4 и башни, которые просто сложены в гараже. Это было гетто, но я просто хотел учиться. Я просто использовал сеть Ethernet 100 Мбит / с. Я выбрал Ubuntu, потому что я не хотел иметь дело с аппаратной конфигурацией коробок. У Ubuntu было много драйверов, которые мне были нужны. Мне нужна была среда Linux, поскольку приложения, которые я написал для нее, были приложениями на основе Си с интерфейсами MPI. Я пытался повторить то, что использовал раньше. Это было все разное. аппаратное обеспечение, ничего стандартного. Большинство кластеров имеют точное оборудование, поэтому вы можете добавлять и удалять узлы в одно мгновение.

1

Я бы начал с рассмотрения проектов LittleFE (http://littlefe.net/) или загрузочного кластера (http://bccd.net/) лично. Также см. Проект Ubuntu Cloud (http://www.ubuntu.com/cloud).

Более или менее любое оборудование должно работать. Я был бы склонен смотреть на какую-то форму соглашения о закрытии сделки или на машины, сдаваемые в аренду, чтобы забрать дешевое оборудование.

1

В зависимости от того, что вы пытаетесь сделать, подумайте о разработке вашей системы на кластере виртуальных машин. Использование решения виртуализации ОС, такого как OpenVZ или Parallels Virtuozzo или Solaris Containers, позволит вам масштабироваться до огромных плотностей по сравнению с полной виртуализацией системы (например, VirtualBox/VirtualPC/Xen/VMWare). Затем, когда вам действительно потребуется развернуть систему для некоторой производительности, запустите ее "в облаке" на Amazon EC2 или аналогичной.

0

Посмотрите на Rocks, который является кластерным дистрибутивом, который делает создание кластера действительно простым. Он также масштабируется как минимум до нескольких извилистых узлов.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .