Как я могу обнаружить (и исправить) молчаливое повреждение данных?

Question

У меня вопрос, как я могу обнаружить молчаливое повреждение данных на моем домашнем ПК (Windows + Linux). Я делаю rsync как автоматическое резервное копирование (с историей версий). Но как я узнаю через несколько месяцев / лет, что длинный неиспользованный файл (например, тезис или моя банковская история) все еще не поврежден? Может быть, я просто делаю резервную копию поврежденного файла.

Если бы это был только один файл, я мог бы проверять каждые несколько недель, работает ли он по-прежнему (хэш или просто открывать его), но делать это на сотнях файлов - обыденно. И даже я узнаю, что файл поврежден, как узнать, когда он был поврежден?

На данный момент мне нужно найти дату в моей резервной копии, в которой файл все еще был в порядке. Если в нем есть рабочая копия! и не испортился.

Cern исследование целостности данных

Answer 1

Если вы хотите исправить эти потерянные данные, вы должны использовать какое-то дублирование данных. Либо RAID, либо резервное копирование.
Резервные копии являются предпочтительным способом, потому что они защищают вас от удаленных файлов, сбоев файловой системы и т.д. RAID защищает только от частичного и полного сбоя диска. Вы должны посмотреть на системный журнал, чтобы увидеть любой сбой.
С Linux вы можете использовать ZFS. Каждая группа данных имеет свою собственную контрольную сумму, и драйвер файловой системы позаботится об этом с оперативным исправлением. Я думаю, что в настоящее время это лучший метод.

Как их обнаружить?
Что ж, с Linux это очень просто: запускайте приложение из ZFS, просто используйте программный RAID, и конфигурация по умолчанию выполняет очистку данных каждый месяц (Debian и Ubuntu, вероятно, то же самое для других).
С Windows ... вы должны использовать некоторые хитрости. Например, читая каждый файл один раз в месяц (с помощью скрипта) и просматривая системный журнал, если что-то сообщается.
Если у вас есть жесткий RAID-контроллер (не Faike RAID, реальная карта RAID), большинство из них включают программное обеспечение для автоматической очистки.

Другой способ - хранить контрольную сумму файлов и регулярно проверять файлы по контрольным суммам. Tripwire делает это для Unix. Вы должны подтвердить тот факт, что измененный файл имеет другую контрольную сумму. Я не знаю никакого программного обеспечения для Windows, но другие могли.