Как получить доступ к большому объему общих файлов?

Question

Я являюсь частью группы инженеров, которые работают вместе над симуляциями; у нас возникли проблемы с выяснением, как хранить / получать доступ к выходным файлам симуляции.

• Каждое исследование моделирования генерирует ~ 20 ГБ выходных файлов. В настоящее время мы проводим 1-2 занятия в неделю.
• Выходные файлы симуляции должны быть доступны для чтения / записи с нескольких локальных компьютеров.
• Файлы исследования могут быть доступны в течение нескольких лет.
• Наша компания небольшая, с ограниченным ИТ-бюджетом / поддержкой.

В прошлом мы либо сохраняли выходные данные моделирования на одном из локальных компьютеров и совместно использовали каталог с другими компьютерами, либо сохраняли выходные данные моделирования в сетевом расположении, которое мы можем смонтировать как диск на локальных компьютерах. Оба решения не хватает места.

Какие подходы имеют смысл для совместного использования / доступа к этому объему данных?

Answer 1

Предполагая, что 2 исследования в неделю в течение 52 недель, это 2 терабайта данных в год. Это много данных.

Удаленное хранилище, такое как Amazon S3, не будет хорошим решением, если вам нужен немедленный доступ к старым данным. Однако, если вы не против загружать большие объемы данных с течением времени, это может быть дешевым и избыточным решением.

Для немедленного доступа вам нужно локальное хранилище. Устройство сетевого хранилища (NAS) будет хорошим выбором. А поскольку у вас ограниченный бюджет, вы можете добавлять одно устройство в год. Устройство , как это будет работать. Установите один, и, если вам нужно больше места, вы можете купить другой. Очевидно, вы можете купить устройства большей емкости, если вы выберете.

Единственное, что я хотел бы предложить, хотя это стоит дороже, это получить устройство с поддержкой RAID . RAID даст вам избыточность в случае смерти диска - другими словами, вы не потеряете свои данные.

Лично я бы выбрал название устройства NAS для устройств. Они стоят дороже, но вы, скорее всего, получите лучшую поддержку, если что-то сломается. Я уклоняюсь от более дешевых моделей, так как вижу, что у людей слишком много проблем с ними. Ты получаешь то, за что платишь.

Вам также следует подумать о том, чтобы хранить локальную копию на устройствах NAS и выполнять резервное копирование данных в дешевое и медленное хранилище, такое как Amazon Glacier в облаке. Резервные копии ваш друг.