RAID-подобная файловая система для разнородного набора жестких дисков

Question

За последние годы я накопил довольно разнородный набор жестких дисков разных размеров и скоростей для хранения своих личных данных. Я планирую поместить их в самосборный файл-файл Linux, чтобы уменьшить затраты на репликацию локальных данных вручную, сокращение количества дублированных файлов и более эффективное использование данных ресурсов. Также я ожидаю, что в ближайшие годы моя потребность в хранилище увеличится. Поэтому должна быть возможность динамически добавлять диски, а также удалять отдельные диски, чтобы заменить их на новые и более крупные.

Если я не ошибаюсь, наиболее распространенным вариантом для создания файла является использование (программного) RAID для повышения надежности и дополнительная схема резервного копирования на внешние или съемные диски для предотвращения случайной потери важных данных.

Поскольку RAID5/RAID6 требуются диски одинакового размера, это не удовлетворяет мою потребность в более динамичной схеме добавления / удаления дисков. Поэтому я ищу файловую систему FLOSS или уровень абстракции блочных устройств, который обеспечивает:

• возможно динамическое добавление и удаление жестких дисков
• Репликация / резервирование аналогично RAID5, возможно настраивается для каждого файла или каталога
• никаких дополнительных (особенно выделенных) машин не требуется (но возможность добавить вторую машину позже, если необходимо, будет хорошей, но не обязательной)

Я немного выглядел в распределенных файловых системах, таких как XtremeFS, но пока не нашел такой, которая бы удовлетворяла всем требованиям и хорошо работала на одной машине. У вас есть идея, что может быть решением?

Answer 1

Проще говоря, хотите верьте, хотите нет, аппаратное решение легче перестраивать и надежнее, чем программное решение, а существующее решение зачастую дешевле в реализации.

Построение вашей системы хранения данных, как правило, не очень хорошая идея, если вы не очень хорошо разбираетесь в искусстве управления хранением. В общем, применяется старое изречение «Если бы вы спросили, это не для вас».

Итог: я бы порекомендовал купить новые жесткие диски (в наши дни это дешево по сравнению с моими данными - если ваши данные не стоят того, чтобы покупать набор жестких дисков в эти дни, Хьюстон, у нас возникла проблема.) И установить совершенно новый raid5/6, чтобы справиться с этим, вместе с некоторыми холодными заменами.

Что еще более важно, обратите внимание, что резервное копирование и резервирование - это два отдельных объекта в управлении хранением. Резервирование предназначено для обслуживания службы ONLINE в случае сбоя одного отдельного оборудования, а резервное копирование - в случае отказа всего устройства. Например, если блок питания внезапно выйдет из строя и попытается накачать напряжение 100 В переменного тока на шину 12 В (не то, чтобы это было вероятно, но ...), не обращайте внимания на RAID5, не обращайте внимания на RAID6 - все исчезнет. Вам понадобятся резервные копии, чтобы справиться с этой ситуацией. Для резервного копирования следуйте этим простым правилам:

1. Резервное копирование в автономном режиме
2. Делать резервные копии вне сайта
3. Делайте резервные копии часто

Удачи!

Answer 2

Я бы посмотрел в ZFS. Он (или некоторые его реализации) предлагает некоторые вещи, которые вы специально запрашиваете (избыточность в гетерогенных средах, способность легко справиться с потерей шпинделя (если существуют избыточные данные)).

BTRFS теоретически движется в этом направлении, и я не знаю, что ZFS обладает функциями, упомянутыми выше в Linux (или даже Solaris), но, по крайней мере, это направление исследований.

Кроме того, я хотел бы изучить возможности LVM и креативного разбиения + MD или LVM для RAID-подобных характеристик. LVM должен позволять вам изменять размеры разделов (они называют это как-то иначе) без особых проблем. Я бы не стал считать это подходом, требующим минимального обслуживания.

Answer 3

Должна быть возможность (и я извиняюсь, я не очень глубоко разбираюсь в LINUX) для создания нескольких томов RAID на разнородном наборе дисков; таким образом максимизируя использование пространства, сохраняя избыточность.

Представьте, что у вас есть диски 3x1 ТБ, 2X2 ТБ и 1 4 ТБ. Вы можете создать том RAID 5 объемом 5 ТБ, используя 1 ТБ из всех 6 дисков. Вы можете создать еще один том RAID 5 объемом 2 ТБ, используя 1 ТБ из каждого из оставшихся 3 дисков.

На сервере Windows для малого бизнеса эти тома затем объединяются; появляются как один том. Я хотел бы быть более полезным в составлении конкретной рекомендации относительно того, как это сделать в LINUX.

Если вы добавите, скажем, еще один диск объемом 4 ТБ: вы можете увеличить оба массива на 1 ТБ и добавить массив размером 2 ТБ, используя пространство 2 ТБ, доступное на каждом из дисков объемом 4 ТБ.

Что касается аппаратного обеспечения против программного обеспечения: аппаратное обеспечение, несомненно, быстрее; но стоит дороже, и, если сам аппаратный контроллер выходит из строя, может потребоваться найти идентичный контроллер или потерять все данные.

Как всегда: избыточность не является заменой резервных копий.

Answer 4

В Linux используйте AUFS для изображения дисков как единой файловой системы, а затем SnapRAID для защиты. Есть прямое описание того, как я настроил Snapraid и AUFS от Wouter Dullaert.

Есть альтернативы AUFS, такие как Btrfs и OverlayFS. OverlayFS встраивается в ядро Linux так долго, что может быть более поддерживаемым маршрутом, чем AUFS.

Windows позволяет монтировать разделы как каталоги с помощью инструмента « Управление дисками» , и оттуда использовать SnapRAID, как указано выше (это мультиплатформенность)