Обнаружение и предотвращение гниения HFS Plus/NTFS

Question

Ни HFS Plus, ни NTFS не проверяют целостность данных ; aka проверяет наличие «битого гниения» в файлах данных, хранящихся в системе. Это связано с тем, что Time Machine и подобные инструменты не могут определить, выполняют ли они резервное копирование поврежденных данных.

Существуют ли инструменты, которые могут обнаружить коррупцию и предупредить меня об этом?

Какова лучшая потребительская стратегия для сохранения целостности моих данных? Должен ли я пройти весь путь и создать ZFS/Btrfs NAS для хранения моей информации?

Обновить:

После некоторых исследований я обнаружил, что есть 2 порта ZFS для Mac OS X:

• https://openzfsonosx.org/
• http://code.google.com/p/maczfs/

Это кажется лучшим подходом к обеспечению целостности данных в Mac OS.

Answer 1

Стоит отметить, что у Microsoft теперь есть ReFS (эластичная файловая система) в Windows 2012+ и Windows 8.1, которая проверяет целостность. Кроме того, если вы запускаете ReFS в зеркальном хранилище, он может автоматически исправлять эти ошибки, используя биты с другой стороны зеркала.

ReFS не поддерживает все функции NTFS, поэтому вам придется решить, важны ли какие-то вещи, которые отсутствуют, для файлов или рабочих нагрузок, для которых это необходимо.

Answer 2

chkbit - это легкий инструмент для обнаружения битрейтов (OS X/Linux/Windows).

chkbit не может восстановить bitrot, его задача - просто обнаружить его.

Вам следует

• резервное копирование регулярно.
• запускать chkbit перед каждым резервным копированием.
• проверьте наличие битрот на резервном носителе.
• в случае восстановления bitrot из проверенной резервной копии.

Answer 3

Я исследовал решение этой проблемы для довольно крупных систем хранения размером 20 ТБ и уровня предприятия, и потребительская реальность такова: системы на основе ZFS действительно единственный способ справиться с этим. Если гниение данных представляет собой реальную проблему, то я бы порекомендовал иметь как минимум еще один жесткий диск для резервного копирования. Не RAID или что-то волшебное, а просто другой внешний диск, который синхронизируется с помощью такого инструмента, как rsync если вам удобно использовать командную строку или Carbon Copy Cloner, который в основном представляет собой приложение, которое выполняет ту же функцию, что и rsync но имеет приятный пользовательский интерфейс.

Я провел поиск прямо сейчас и нашел ZFS в Linux, которая звучит интересно; реализация ZFS с открытым исходным кодом для систем Linux. Если вам удобно закатывать рукава и настраивать Linux/Unix, это может стать потенциальным решением для самостоятельного NAS. Но у меня нет прямого опыта с этим, поэтому я не могу говорить о его долгосрочной полезности в «производственной» среде.

Answer 4

Для Windows я обнаружил эту маленькую программу:

« DiskFresh - это простой, но мощный инструмент, который может обновить сигнал вашего жесткого диска без изменения данных, читая и записывая каждый сектор, и, следовательно, делая ваш диск более надежным для хранения»

Он выполняет полный цикл чтения / записи всех секторов на диске, так что вы можете предотвратить битрот.

У меня есть несколько жестких дисков SATA, которые я использую для целей архивирования, поэтому они не всегда подключены к компьютеру. У меня они в пластиковом корпусе и хранятся в ящике вместе с влагопоглощающими пакетами. Если и когда нужно, я просто вставляю их в один из тех слотов для дисков sata, которые я установил на башне. Поскольку они сидят в течение длительных периодов времени в автономном режиме, у меня есть некоторые опасения за них. Нашел эту утилиту и опробовал ее на этих дисках. Просто будьте готовы, что это займет много времени, так как он выполняет полное чтение-запись на весь диск. Я обычно использую это один раз в год на ночь.

Answer 5

Вы всегда можете вручную вычислить контрольные суммы с помощью md5sum и периодически проверять их, или вы можете использовать btrfs, которая имеет функцию онлайн-проверки контрольных сумм. С другой стороны, это действительно избыточно и не нужно, поскольку на дисках уже есть свои собственные коды для обнаружения и исправления ошибок.