Как резервное копирование Borg справляется с дедупликацией и шифрованием данных?

Question

Мне нужно программное обеспечение для резервного копирования, которое выполняет шифрование на стороне клиента.

В документации Borg указано, что она выполняет шифрование на стороне клиента, и, в конце концов, если хранилище является удаленным, добавляется еще один уровень шифрования, если используется безопасное соединение (например: ssh).

Борг использует дедупликацию данных, поэтому я перечитал страницу википедии об этой технологии и понял, что это такое и как оно выполняется.

Теперь я задаю себе вопрос:

Как дедупликация данных может работать с шифрованием?

На странице википедии говорится, что это невозможно, поэтому я спросил себя, внедрил ли Борг какое-то колдовство, чтобы справиться с этим. Получает ли он последнюю резервную копию, расшифровывает ее и выполняет сравнение хешей?

Есть ли какой-либо известный метод для обработки этих двух методов (дедупликация и шифрование) вместе?

Answer 1

Борг хранит локальный кеш контрольных сумм (кусков) данных, зарезервированных. С этим можно ознакомиться до шифрования, что делает решение о дедупликации клиентской функцией, на которую не влияют шифрование или сжатие.

Из часто задаваемых вопросов:Могу ли я выполнять резервное копирование с нескольких серверов в один репозиторий?

Да, но для того, чтобы дедупликация, используемая Borg, работала, ему необходимо сохранить локальный кеш, содержащий контрольные суммы всех файловых блоков, уже сохраненных в хранилище. Этот кеш хранится в ~/.cache/borg/. Если Борг обнаружит, что хранилище было изменено с момента обновления локального кэша, ему необходимо будет восстановить его. Это восстановление может занять довольно много времени.