Я использовал эту команду:
rsync -avP /source1/imgs /backup/
скопировать каталог в другой каталог на том же сервере. Это около 18 ТБ данных. 23 миллиона файлов. Только на сборку файлов ушло более 3 дней.
Теперь, когда у меня есть резервная копия моего рабочего каталога, мой вопрос: как я могу обновить каталог резервного копирования с изменениями, произошедшими в рабочем каталоге?
В таких больших файловых системах резервное копирование на основе файлов неэффективно, особенно если эта файловая система активна и изменения вносятся часто, поскольку во время резервного копирования данные менялись много раз, поэтому вам будет трудно определить, какой файл скопирован, когда.
Возможно, вы захотите рассмотреть резервное копирование в реальном времени, например, использование распределенной файловой системы или распределенного блока.
Я лично использую drbd, и я установил lvm поверх него и использую снимки.
Вы также можете настроить хранилище на основе ZFS (мне понравился Nexenta), у ZFS есть отличные функции моментальных снимков, и есть несколько вариантов настройки живой репликации, если подумать, что один из них называется luster, никогда не пробовал.
rsync к нему снова. rsync сделает все возможное, чтобы выяснить, что изменилось, и только синхронизировать это. Вы можете передать -n чтобы выполнить пробный прогон, чтобы вы могли проверить.