резервное копирование огромного количества данных на медленном диске

Question

У меня есть этот новый и дешевый накопитель Seagate Archive без аппаратного шифрования. У этого есть 8 ТБ места. Передача в режиме реального времени швов для достижения скорости до 15 МБ / с

Этот диск до сих пор может служить своему основному назначению, а именно - безопасному хранению данных в течение некоторого времени.

У меня также есть еще один идентичный диск для резервного копирования, опять же, первый диск. Проблема в том, что я использую программное обеспечение для шифрования VeraCrypt, основанное на TrueCrypt. Это программное обеспечение кажется лучшим вариантом сейчас, потому что оно шифрует практически любой объем данных в файл, который может быть смонтирован как диск практически без потери производительности диска, на котором он находится.

Тем не менее, я более внимателен к состоянию диска, чем к его производительности. Моя цель - безопасность; резервное копирование и шифрование.

Проблема в том, что при скорости передачи, достигающей в худшем случае 16 МБ / с, сохранение файла (то есть зашифрованного контейнера) может занять не менее двух дней. Но я не могу оставить машину так долго из-за моей ситуации сейчас.

Должен ли я просто сделать меньшие контейнеры (по 100 Гб) в моем ноутбуке, заполнить их данными и затем отправить их на диск, поскольку они затем обрабатываются как файлы? Должен ли я рассмотреть другие программы, такие как 7zip и его шифрование, которые позволяют разбивать на части? плохо, что привело бы к очень большой дополнительной работе.

Обновление 1:- Я нашел несколько альтернатив, Ultracopier, доступных в Ubuntu, что программное обеспечение можно использовать для копирования файла, скажем, на 10 часов, и мне нужно двигаться, я просто приостанавливаю передачу и продолжаю в другой раз. Я никогда не сталкивался с подобной функцией.

Answer 1

Я не уверен, что правильно вас понимаю, но я использую некоторое коммерческое программное обеспечение AJC Sync (один из немногих пакетов, которые я приобрел, кроме Office и VLE) для сравнения и резервного копирования файлов. Поскольку он сравнивает и копирует только те файлы, которые были добавлены и изменены, это быстро. Я использую стандартную версию за 29 долларов США, но у профессиональной версии за 35 долларов есть возможность зашифровать.

Есть и другие подобные пакеты, в том числе бесплатные.

Answer 2

Во-первых, 15 МБ / с действительно очень медленно для любых жестких дисков (по крайней мере, с этого тысячелетия, я думаю), это больше похоже на скорость USB-накопителя - вы пишете на USB-накопитель? Если так, то это просто "ограничение скорости", с которым вы застряли. Или, может быть, вы используете USB-накопитель, который по какой-то причине ограничен в скорости - делает ли его изменение USB-концентратор / кабель / порт более быстрым? Или это быстрее на другом компьютере? Может быть, там есть проблема, которую нужно решить.

Если я правильно понимаю, вы:

1. используя большие 100 ГБ файлы в качестве контейнеров для VeraCrypt, каждый контейнер содержит файловую систему фиксированного размера с вашими файлами резервных копий (ежедневное / еженедельное резервное копирование?).

2. копирование больших файлов объемом 100 ГБ в другое место для вторичного резервного копирования (еженедельное / ежемесячное резервное копирование?).

Если вы изменили свою стратегию резервного копирования, чтобы копировать только файлы внутри больших контейнеров по 100 ГБ (после монтирования контейнеров to и from), которые позволят вам использовать такие программы, как rsync для копирования нескольких файлов меньшего размера, остановите и продолжите копирование позже, где вы остановились , Кроме того, вы можете / должны использовать инкрементное резервное копирование, отслеживая и копируя только те файлы, которые изменились с момента последнего полного резервного копирования, поэтому вместо копирования 100 ГБ каждый день, возможно, только несколько небольших файлов конфигурации меняются каждый день, возможно, даже несколько КБ или МБ (плюс загрузки, если вам даже нужны их резервные копии).

Если изменяются только несколько небольших частей ваших файлов объемом 100 ГБ, то при использовании rsync и опции --no-whole-file можно копировать только измененные разделы вместо 100 ГБ для записи, но при этом все равно необходимо прочитать оба файла, чтобы найти изменил части, и при 15 МБ / с он может быть не быстрее (если вы используете флэш- накопитель, то меньше записей = более длительный срок службы, поэтому, возможно, это того стоит).

Существует множество программ резервного копирования на выбор, см. Несколько таких вопросов, большинство из них должны поддерживать инкрементные резервные копии только для копирования измененных файлов:

• Сравнение инструментов резервного копирования - askubuntu.com

Или вы можете написать один (как я), который хранит индекс файлов, для которых были созданы резервные копии, и их хэши / времена, и при следующем запуске сравнивает файлы с их хэшами / временем, чтобы копировать только новые и измененные файлы. Bash отлично работает с find cksum или защищенным , но гораздо медленнее программ shaXsum diff список файлов и хэши , чтобы найти и скопировать новые / измененные файлы. А для большей безопасности вы можете даже создавать резервные копии файлов в архивах, сжатых tar, с помощью gpg, которые занимают столько же или меньше места, чем исходные файлы, но не 100 ГБ за раз.

Кроме того, поскольку вы используете исключительно Linux, почему бы не использовать LUKS / cryptsetup для своего шифрования? Он "был в курсе" несколько лет и теоретически должен быть более стабильным, чем относительно новая программа, такая как VeraCrypt.