Это хорошая идея для хранения долгосрочных данных в формате Zip?

Question

ситуация

У меня есть огромное количество (около 1 ТБ) смешанных данных (фотографии, документы, PDF-файлы и другие форматы файлов). Все данные расположены во многих папках. Поскольку мой ноутбук постоянно заполнен, я должен перенести эти данные в какое-то долговременное хранилище. Я решил перенести эти данные на один обычный внешний жесткий диск, а также на одно устройство NAS.

Вопрос

Это хорошая идея, чтобы сжать все и перенести на эти устройства? Я планирую использовать 7Zip для этого процесса. Это может сэкономить место и увеличить скорость передачи. Далее также можно сохранить любое неожиданное удаление файлов любым антивирусом.

Дальнейшая проблема

В прошлый раз, когда я передавал такие огромные данные, были некоторые файлы, которые я не мог передать из-за какой-либо ошибки или повреждения. Если что-то подобное происходит с архивом, то я облажался.

Также приветствуется предложение о любом другом лучшем способе хранения и передачи таких больших данных.

Answer 1

Несколько моментов приходят на ум:

• Экономия пространства: многие файлы, особенно мультимедиа, уже находятся в сжатом формате, и при попытке дальнейшего сжатия будет сэкономлено мало места (действительно, я видел мультимедийные файлы в ZIP-архиве, которые больше, чем исходные, хотя программа ZIP) Следует признать, что это произойдет, и сохранить без попыток применить дальнейшее сжатие).
• Время доступа: большой архив может занять много времени для доступа и обновления.
• Безопасность доступа: использование ZIP-пароля обеспечивает дешевую и надежную защиту архива, который очень переносим, не требуя дополнительного программного обеспечения безопасности на целевом компьютере, хотя он не будет сопротивляться решительным усилиям по его взлому.
• Безопасность данных: ошибка данных в файловой системе может привести к потере нескольких файлов, находящихся в неисправном секторе, но может потерять все файлы в ZIP-архиве.
• Размер архива: если вы храните много больших файлов в ZIP-архиве, размер архива может стать неуправляемым; Я бы избежал любых архивов более 20 ГБ.

Вы очень мудры, чтобы сделать резервную копию в двух местах. Что касается резервного копирования, я предлагаю вам провести несколько тестов на предмет того, какие файлы дают достойное сжатие: по моему опыту текстовые файлы и файлы документов (.txt , .log , .doc docx и т.д.) Могут сэкономить до 90%. , несжатые мультимедийные файлы (.wav , .bmp и т. д.) около 50%, но сжатые файлы (.mp* , .zip , некоторые .pdf , установочные файлы и т. д.) дадут не более 2%, если это так.

Если вы архивируете свои файлы, вы можете рассмотреть один файл на архив. Это не даст такого хорошего сжатия, как несколько файловых архивов, но обеспечит разумную защиту данных.

Для справки, я использовал 7zip годами и нахожу его превосходным, и у него есть интерфейс командной строки, который полезен для пакетных операций.

Answer 2

Это, безусловно, вопрос, основанный на мнениях, но я бы порекомендовал программное обеспечение, такое как WinRAR, которое может создать запись восстановления. Архивы отлично подходят для моментального снимка, простоты управления и отслеживания, но большие архивы подвержены коррупции.

Вы можете хэшировать файлы, но это не позволит восстановить; он просто скажет вам, что файл (ы) больше не является оригиналом. Архивы с записью восстановления могут фактически излечить себя.

Экономия места на потребительском диске большого размера обычно означает большое количество сжатых данных, а это означает, что экономия пространства будет очень небольшой, поэтому наибольший выигрыш - простота управления и восстановления; но вы должны использовать для нас архивный метод, который действительно может это сделать. Я не знаю о давно существующем формате, кроме WinRAR.

Что касается устройства, то работающий NAS намного лучше, чем жесткий диск с холодным хранением, потому что NAS может сказать вам, если диск неисправен, так что вы можете решить проблему, когда жесткий диск с холодным хранением может перейти от "хорошего" к "плохому" "и вы даже не знаете это. Облако, вероятно, ваш лучший вариант, если вы не разбираетесь в технологиях. Если вы разбираетесь в технологиях, приобретите подержанный диск LTO3/4 и ленты с платой контроллера. Предварительно построенный NAS может быть более дорогим вариантом, если учесть затраты на оборудование и энергопотребление с течением времени.