Хорошая практика создания избыточного архива для длительного хранения в облаке

Question

Я хочу создать цифровой архив фотографий, документов и других важных вещей для хранения в облаке (скорее всего, Amazon Glacier). Желательно один год на архив, до 10 гигабайт каждый. Я хочу убедиться, что ошибки хранения и передачи по сети ничего не сломают, поэтому я хочу включить надежные данные для восстановления.

У вас есть рекомендуемые лучшие практики и инструменты здесь? RAR с восстановлением данных? Стоит ли хранить каждый файл контрольной суммы вместе с архивом? Любые другие предложения?

Answer 1

Если вы хотите включить дополнительные данные восстановления в свои резервные копии, вы можете использовать решения типа Parchive . Вы указываете объем избыточных / восстановительных данных, которые вы хотите сгенерировать и как (если вообще) их разделить. Преимущество использования этого метода заключается в том, что он не зависит от выбранных вами методов резервного копирования и хранения. Вы можете использовать zip, tar, Windows Backup или что-то еще, что генерирует файлы и передает их через инструменты Parchive для создания дополнительных файлов восстановления.

Помните, что сервисы Amazon Glacier и S3 могут генерировать контрольную сумму файла, поэтому после загрузки файла вы можете сравнить локальные и удаленные контрольные суммы, чтобы убедиться, что файл был передан без ошибок.

Кроме того, это то, что Amazon должен сказать по этой теме:

Долговечность - Amazon Glacier обеспечивает среднюю годовую долговечность архива 99,99999999%. Служба резервирует данные в нескольких учреждениях и на нескольких устройствах в каждом учреждении. Чтобы повысить долговечность, Amazon Glacier синхронно сохраняет ваши данные на нескольких объектах, а затем возвращает УСПЕХ при загрузке архивов. В отличие от традиционных систем, которые могут потребовать трудоемкой проверки данных и ручного восстановления, Glacier выполняет регулярные систематические проверки целостности данных и предназначена для автоматического самовосстановления.

Это означает, что существует вероятность всего 0,00000000001 (1e-11) того, что любой из ваших файлов испортится в течение одного года. Иными словами, если вы храните 100 миллиардов файлов в Glacier в течение одного года, вы можете потерять один из них.

Если вы хотите получить дополнительную гарантию, рассмотрите возможность загрузки ваших данных в несколько регионов Glacier или у другого поставщика услуг в другом географическом регионе.

Answer 2

Существуют альтернативы старому формату PAR: DVDisaster, DAR и pyFileFixity (которые я разработал). Но облачные сервисы, конечно, должны иметь свою собственную систему для сохранения данных, потому что с пространством хранения, которое они предлагают, скорость повреждения данных растет пугающе высоко, поэтому в любом случае вы должны быть в безопасности.

Answer 3

Как правило, если вы не полностью доверяете надежности своего хранилища, вы хотите внедрить собственную избыточность с возможностью восстановления.

Простой и быстрый способ сделать это - просто загрузить все дважды. Вы, вероятно, не хотите этого делать.

Это необходимо, но если вы разбиваете свои файлы на маленькие блоки и создаете файлы "par2" с помощью такого инструмента, как QuickPar. (вот учебник), тогда я считаю, что если файл отсутствует, его можно восстановить. Это обычно используется для повышения надежности двоичных файлов, передаваемых и "извлекаемых" через Usenet (который никогда не был предназначен для этого), но его можно использовать везде, где вы хотите иметь такой уровень избыточности.