Мы планируем купить кластер для научных расчетов, в настоящее время мы находимся в процессе составления спецификаций. Мы не совсем уверены, какими должны быть спецификации сервера хранения.
Сам кластер будет содержать ~ 200 вычислительных узлов, соединенных сетью с малой задержкой (для параллельных вычислений), и будет использоваться прибл. 25 пользователей.
Хранение будет ок. 200 ТБ доступного пространства и будет использоваться для выполнения вычислений (у вычислительных узлов не будет дисков) и не должно служить резервной копией данных (т. Е. Нам не требуется защита от потери данных промышленного уровня).
Я придумал следующее; комментарии и предложения очень ценятся.
Характеристики:
- Технология ZFS для создания единого тома и защиты от сбоев дисков
- используйте настройку RAID-Z2 или RAID-Z3 для нескольких пулов с четностью 25%, что означает 8 дисков на RAID-Z2 или 12 дисков на RAID-Z3.
- какая-то технология кеширования с использованием SSD (для увеличения скорости ввода / вывода часто используемых файлов)
- 10 Гбит newtork (или даже 100 Гбит, если это возможно)
Вопросы и заметки:
- Мы обеспокоены скоростью ввода-вывода, несколько (25+) процессов будут записывать большие объемы данных в хранилище
- Мы не будем читать / записывать большое количество маленьких файлов (это не будет разрешено)
- Мы ожидаем, что диски выйдут из строя в течение срока хранения (~ 5 лет), и мы не хотим терять данные, но частичная потеря данных в течение этого времени (скажем, один раз) является приемлемой - какова вероятность такой установки?
- Сколько горячих резервов (по отношению к общему количеству дисков) мы должны запросить?
- Я действительно не знаю, какая такая технология кэширования (если есть) доступна
- Компоненты кластера будут работать под управлением Linux
Редактировать:
Обратите внимание, что я не ищу совета по аппаратным спецификациям - мои вопросы в основном направлены на то, какое поведение я должен ожидать при использовании указанной настройки ZFS (RAID). Спецификации оборудования приведены здесь только для того, чтобы указать размер моей системы.