Есть ли файловая система, которая исправляет ошибки?

Question

Я ищу какую-нибудь виртуальную файловую систему (например, с виртуальным жестким диском) или какое-либо другое рабочее решение для создания архивов или резервных копий данных с избыточностью с исправлением ошибок.

Я попытался найти что-то вроде Windows 7 VHD, которое можно отобразить как новое устройство хранения данных с собственной ФС, но имеющее определенный настраиваемый процентиль гарантии восстановления для файлов.

Другими словами, я хотел бы иметь виртуальный жесткий диск или что-то подобное, который я могу настроить, установив определенный процентиль восстановления (например, 10%), и цель - файлы на этом диске могут быть повреждены до 10%, и они будут возмещена.

Чтобы быть более точным, идея похожа на "зашифрованную" FS (например, TrueCrypt), но с избыточностью для надежности вместо шифрования для конфиденциальности и безопасности.

Есть ли что-то подобное?

Answer 1

См. Https://www.thanassis.space/rsbep.html.

Это создает дополнительные файлы с данными для исправления ошибок, используя исправление ошибок Рида-Соломона, которое использовалось на аудио-CD в прошлом.

К сожалению, нет файловой системы, которая использует эту технику ..

https://en.wikipedia.org/wiki/Reed-Solomon_error_correction

Answer 2

Я не слышал о такой, которая работает как файловая система блочного уровня.

Tahoe-LAFS действительно имеет эту функцию, но она работает больше как FTP, она медленная и действительно предназначена для распределения ресурсов между несколькими хостами.

Вы всегда можете сделать свои файлы избыточными самостоятельно, используя инструмент PAR2, такой как QuickPar.

Answer 3

Я не уверен насчет виртуальной файловой системы, но есть много "настоящих" файловых систем, которые исправляют ошибки

• Bcachefs - это еще не апстрим, полная контрольная сумма данных и метаданных, bcache - нижняя половина файловой системы
• Btrfs - файловая система на основе B-Trees, созданная корпорацией Oracle.
• HAMMER - основная файловая система DragonflyBSD, созданная Мэттом Диллоном.
• ReFS (Resilient File System) - файловая система Microsoft со встроенными функциями обеспечения отказоустойчивости.
• Reliance - транзакционная файловая система с CRC, созданная Datalight.
• Reliance Nitro - основанная на дереве транзакционная файловая система с CRC, разработанная для высокой производительности и надежности во встроенных системах от Datalight.
• NOVA - файловая система с ускорением энергонезависимой памяти для постоянной основной памяти.
• ZFS - Создано Sun Microsystems для использования в Solaris 10 и OpenSolaris, портировано на FreeBSD 7.0, NetBSD (по состоянию на 08/2009), Linux и FUSE (не путать с двумя zFS от IBM)

https://en.wikipedia.org/wiki/List_of_file_systems#File_systems_with_built-in_fault-tolerance

Конечно, вы можете использовать их на виртуальном жестком диске и позволить им обрабатывать исправления ошибок. Нет никакой разницы, читает ли драйвер файловой системы с физического или виртуального диска, так как они получают только поток байтов.