Я настраиваю небольшой кластер из 20 машин, которые должны будут запускать пакетную команду. Пакет будет иметь некоторые инструкции, затем запустит Java-программу, которая будет обрабатывать данные в течение примерно 2 часов, а затем возвращать результаты.
Мой опыт работы с кластерами равен нулю.
Не могли бы вы дать совет по общим рекомендациям и доступному программному обеспечению?
Заранее спасибо!
CentOS, производная от Red Hat, поставляется с Red Hat Cluster Suite. Red Had Cluster Suite больше ориентирован на высокую доступность (аварийное переключение служб) и балансировку нагрузки IP-служб (таких как веб-серверы). Если ваша Java-программа не слушает команды по сети, RHCS, вероятно, не то, что вы ищете.
По описанию я полагаю, что вы придерживаетесь подхода распределенных вычислений. GNU Queue или Gearman будет более подходящим для ваших нужд. Разработка GNU Queue уже приостановлена, но более старые версии все еще доступны и доступны для использования.
Если вы только начинаете работать с HPC, вам, возможно, понравится слушать http://www.rce-cast.com
Эпизод 7 о кластерном планировании: http://www.rce-cast.com/Podcast/rce-07-cluster-planning.html
Как я уже упоминал в своем ответе на другой вопрос, мы используем Condor. Мы счастливы с этим.
