Домашний сервер: виртуализация хранилища, что выбрать?

Question

Я ищу решения для виртуализации хранилища и ОС для домашнего сервера. Это своего рода частное облако, где я управляю пространством хранения независимо от виртуального.

Этот вопрос сфокусирован на управлении хранением. (У меня есть еще один вопрос, связанный с управлением экземплярами виртуальных машин / компьютеров).

Здесь мое окружение и пожелания.

• Сервер: HP Proliant MicroServer с 8 ГБ ОЗУ (двухъядерный процессор AMD Turion с технологией AMD-V) с системным диском объемом 1 250 ГБ и до 4 жестких дисков (2 ТБ) для "данных".
• Типы ОС: только Linux (возможно, * BSD VM в будущем)
• Дистрибутивы Linux не имеют значения, я знаком с RHEL, Fedora, Suse, Ubuntu, но любая другая рекомендация подойдет
• 4 HDD будет программным RAID-массивом, вероятно, RAID 5.
• хранилище должно быть «виртуализировано / облачно»:
  • легко расширить: если я добавлю NAS в сеть, я могу включить емкость NAS в это пространство хранения как один виртуальный диск. Это может быть NAS, внешний жесткий диск или другой сервер.
  • пространство кластера FS или S3 или хранилище блоков OpenStack? Все, что проще в управлении / обслуживании и легко интегрировать / подключить к ВМ / вычислительному экземпляру.

Я бы предпочел бесплатные (libre, как в бесплатной речи) и инструменты с открытым исходным кодом. Но оно не должно быть бесплатным, как в бесплатном пиве.

Примечание: виртуальные машины, которые я собираюсь запустить поверх этого сервера, предназначены для резервного копирования, одна для службы, подобной owncloud/dropbox, и, возможно, одна для медиасервера (для размещения видео и фотографий). Я не уверен, что традиционные виртуальные машины или вычислительный экземпляр являются наиболее подходящими для этого.

РЕДАКТИРОВАТЬ 1, переориентировать вопрос

Как выяснилось и после некоторых собственных исследований, виртуализация хранилища и гипервизор хранилища являются довольно новыми технологиями с небольшим количеством поставщиков программного стека для решений уровня Entreprise, которые не соответствуют моему бюджету и требуют наличия личного времени для одного человека.

Поэтому я пойду к более приземленным решениям, но вот новый вопрос: какие технологии хранения данных (устройство отображения, менеджер логических томов, кластер FS, iSCSI и т.д.) Выбрать для домашнего сервера с 4 отсеками для дисков, чем могли бы быть потраченным на NAS или другой такой сервер в будущем?

• Программный RAID с использованием MD + LVM + iSCSI? (не уверен, что это возможно)
• Программный RAID с использованием MD + iSCSI?
• Программный RAID с поддержкой FS, такой как ZFS или BTRFS?
• Кластерная файловая система GFS2 или OCFS2? Поверх MD RAID?
• и т. д. (вы предлагаете / советуете)

РЕДАКТИРОВАТЬ 2, тонкое обеспечение

Похоже, мой ответ был бы связан с MD и LVM2 как основными технологиями. Оба поддерживают (экспериментальное) тонкое обеспечение, поэтому я могу использовать эту функцию, когда она станет стабильной.
Мне нужно было бы посоветовать хорошие инструменты пользовательского пространства для мониторинга таких технологий и, возможно, если есть какие-либо инструменты (веб-интерфейс) для удаленной настройки LVM (кроме ssh).

Является ли lvm "virtualsize" частью экспериментальной функции тонкого предоставления, или это то, с чего я мог бы начать, пока другие технологии развиваются?

Примечание 1: Я могу настроить тома MD и LVM в командной строке, но было бы здорово, чтобы "обслуживание" могло осуществляться через GUI удаленно.

Примечание 2: хранилище будет использоваться для резервного копирования, поэтому я не могу использовать экспериментальные или даже просто стабилизированные технологии (например, btrfs), я хочу проверенные решения. Хотя, если я смогу перейти на новые технологии, когда они станут зрелыми, это было бы неплохо!

РЕДАКТИРОВАТЬ 3, Linux LIO

Я действительно ничего не знаю о iSCSI или Linux LIO. Я видел, что Synology, QNAP и другие поставщики NAS внедрили последнее в свои решения NAS. Как это может помочь моей цели? Существуют ли какие-либо инструменты администрирования, использующие преимущества фреймворков / библиотек, такие как libStorageManagement или Targetd? Есть ли другие альтернативы?

Answer 1

Таким образом, вы хотите использовать свой микросервер HP в качестве решения виртуализированного хранилища для размещения гостей виртуальных машин. Недавно я задал похожий вопрос о сбое сервера, но больше о виртуализации хранилища в одном блоке. В некотором смысле, я думаю, что вы идете по этому пути (или, по крайней мере, смотрите вниз по дороге).

Что касается OS/Hypervisor, я бы порекомендовал вам взглянуть на VMWare ESXi 5.0. Вы можете установить его на USB-накопитель, который экономит дисковое пространство для ваших виртуальных машин. Оно не может быть надлежащим свободным, но достаточно свободным для ваших нужд. Вы также можете отказаться от виртуализации вашего файлового сервера и просто работать с операционной системой, поскольку сама по себе виртуализация - это не та функция, которую вы хотите, а виртуализация хранилища / тонкая подготовка - это то, что вы просите.

Для вашего хранения, по моему (предвзятому) мнению, я говорю, используйте ZFS. Nexenta, OpenIndiana или FreeBSD, но ZFS - это путь. С дисками 4x2 ТБ и 8 ГБ ОЗУ, ZFS отлично подойдет. Если вы используете USB-флешку для ESXi, вы можете заменить системный диск объемом 250 Гбайт на SSD для ZIL и L2ARC, чтобы еще больше ускорить ZFS (при необходимости). Существуют инструменты командной строки, которые могут помочь определить, нужен ли ZFS ZIL или L2ARC, но это обсуждение для другого поста.

Вы также спросили о возможности добавления или, скорее, как вы положили расширение хранилища. Я не знаю, способен ли ZFS на это, но с точки зрения хранилища, ZFS - это хранилище, которое можно обновить, и, возможно, это лучший (читай: более простой) способ. Может быть, кто-то еще может говорить с этим или может быть есть другая файловая система, лучше подходящая для этой функции, но я не осведомлен в этом аспекте. Одна мысль, которая приходит в голову, - это установить диски непосредственно на микросервер HP с помощью внешнего корпуса, подобного этому, от Newegg. Вы можете легко создавать новые zpools в ZFS и добавлять диски в этот пул или создавать новые vdevs в старом пуле, чтобы расширить этот пул.

Я не уверен насчет облачной доступности, кроме использования некоторых пользовательских правил брандмауэра. Возможно, у других пользователей есть лучшие или более подробные ответы для вас в этом отношении.

Вы можете настроить тома ZFS в качестве целей iSCSI. Вот сообщение в блоге от Oracle для Solaris, но идея та же самая. iSCSI, вероятно, является наиболее распространенным и доступным (или бесплатным) способом виртуализации хранилища для виртуальных машин.

Я бы также порекомендовал, что с точки зрения RAID, RAID5/6 может дать вам немного больше места для хранения за счет скорости и простоты. Я был преобразован из способов традиционного аппаратного RAID (5 и 6), и я все о зеркалах. Это может быть неэффективное использование хранилища, но это гораздо проще исправить, и скорость компенсирует разницу. Эта статья в основном продала меня на зеркалах, а не на RAID 5 или 6 в ZFS и, вероятно, за пределами ZFS.

Крутая вещь в ZFS - это vdevs и чередование. Для каждого vdev, который вы создаете в zpool, они чередуются. Итак, если бы вы пошли по маршруту ZFS, вы бы создали два зеркальных диска (диск 0 и 1) как vdev, затем два других диска (диск 2 и 3) как другой vdev, тогда ZFS разделит оба vdevs так Вы можете думать об этом как о RAID 10 (или 1+0). Действительно быстро и действительно просто. Вы можете пострадать от сбоя 2 диска (если каждый диск не в одном и том же vdev), и все будет в порядке.

Я надеюсь, что это отвечает на некоторые ваши вопросы. Вы привели несколько частичных примеров ваших вариантов использования, но что именно вы собираетесь делать с этим файловым сервером? Может быть, немного больше информации, другие могут предложить ответы лучше.

Answer 2

При загрузке FreeNAS SourceForge посоветовал мне взглянуть на NAS4Free, OpenMediaVault и Openfiler. Все перспективные смежные проекты. Мне понадобится некоторое время, чтобы проверить все эти продукты ... - Гюйгенс 9 июля в 19:02
Да, существует множество вариантов, вы правы, вам, скорее всего, просто нужно поэкспериментировать с ними, чтобы определить, что лучше всего соответствует вашим потребностям. - jmreicha 9 июля в 19:37

Просто проверьте другие функции. Если они не предлагают ZFS в качестве выбора файловой системы, тогда двигайтесь дальше. Это так просто.

FreeNAS теперь также разрешает то, что они называют "плагинами", которые фактически являются виртуальными машинами, работающими на коробке, так что вы можете потенциально добавить сервер печати CUPS, например, в свой массив хранения.

Answer 3

Я сделал переход на NAS4Free после некоторого тестирования.

На NAS4Free я получаю более высокие скорости, чем на FreeNAS 8.3. Также содержит некоторые приятные функции, такие как шифрование, которых не хватает в FreeNAS 8. И большой бонус, NAS4Free теперь поддерживает Highly Available Storage (HAST)