Как я могу использовать неиспользуемое пространство в большой сети децентрализованным, но устойчивым способом?

Question

Я администрирую большую сеть Windows и хотел бы использовать неиспользуемое пространство на рабочих станциях. Есть ли бесплатный способ сделать это?

Допустим, у нас есть:

• 200 рабочих станций Windows с жесткими дисками по 500 ГБ, занимаемое пространство на дисках всегда меньше 50 ГБ.
• Пользователи этой сети хранят свои файлы на выделенных файловых серверах, никакие пользовательские данные не хранятся локально на рабочих станциях.
• 200 жестких дисков, каждый с 450 ГБ свободного места = 87,89 терабайта неиспользованного дискового пространства, распределенного по сети.

Я ищу способ надежно использовать свободное пространство на диске, выбирая сначала целостность данных, а не скорость доступа.

Ранее я слышал о распределенном хранилище в Интернете, использующем P2P-подобные сети, где пользователи предпочитают делегировать определенный процент своего дискового пространства в сеть в обмен на их хранение данных на других дисках по всему миру, причем данные дублируются для обеспечения доступа, если некоторые клиенты отключаются.

Очевидно, что анонимное выполнение этого в Интернете вызывает другие потенциальные проблемы, но я собираюсь делать подобные вещи в локальной сети в контролируемой среде, не для повседневного использования пользователями, а для более длительного хранения в архивах.

Почти как распределенная файловая система, с автономным управлением, шифрованием, репликацией данных для резервирования, когда рабочие станции отключены.

Служба на базе Windows, вероятно, лучше всего соответствует моим потребностям, работает в фоновом режиме, может иметь низкий приоритет с точки зрения нагрузки на рабочую станцию. Очевидно, что хранилище данных должно быть зашифровано, возможно, даже P2P по своей природе, чтобы другие клиенты работали вместе для потоковой передачи данных для репликации?

Если кто-нибудь знает о программном обеспечении, которое может достичь этого, пожалуйста, просветите меня, если оно бесплатное, то тем лучше! Спасибо за ваше время и помощь.

Answer 1

Тахо-LAFS. Он написан на Python и является кроссплатформенным. Установщика Windows пока нет, но он работает на Windows. Вам нужно собрать его (запустив c:\python27\python.exe c:\your_tahoe_unzip_path\tahoe build перед первым использованием), но затем вы можете скопировать собранные файлы куда угодно.

В Windows вы хотите, чтобы он работал как сервис. Я использовал NSSM для этой задачи.

У вас должен быть запущен узел интродуктора, доступный для каждой машины.

Затем вам нужно настроить каждый компьютер, который вы хотите использовать в "сетке", в качестве узла хранения (с использованием introducer.furl из узла представителя). Здесь вы указываете параметры резервирования, то есть, на скольких машинах вы хотите, чтобы он попытался "разделить" файлы.

Затем вы можете зайти в веб-интерфейс на любой машине, на которой работает Tahoe, и загрузить / выгрузить файлы по всей сетке. Tahoe может быть настроен на загрузку с избыточностью, поэтому, если машины отключаются или недоступны, они могут попытаться отключиться от других. Вам необходимо периодически обновлять файлы, чтобы убедиться, что они «в порядке в сети».

Tahoe имеет встроенную модель безопасности "возможности", где URL является ключом доступа к файлу, а также определяет привилегии того, что вы можете делать с файлом (когда вы загружаете файл, вы можете дать URL "только для чтения"). , в принципе.) Вы также можете отключить веб-интерфейс и использовать внешний интерфейс "SSH" (используя WinSCP для получения и хранения файлов).

Это запутанно и странно, и требуется некоторое время, чтобы разобраться в некоторых понятиях, но прекрасно работает.