Инкрементные резервные копии в стиле моментальных снимков с rsync в NTFS

Question

Я занялся разработкой встраиваемого продукта Linux, которому нужно надежное решение для резервного копирования. Резервное копирование должно выполняться без сжатия на подключенное USB-устройство хранения данных, отформатированное в NTFS.

Текущая реализация - это простой rsync --archive --verbose --delete который работает, но с учетом параметра --delete все случайно удаленные файлы также будут удалены из резервной копии, что бесполезно.

С другой стороны, не используя --delete мы можем получить дубликаты, если файлы будут переименованы.

Я хотел бы переключиться на использование жестких ссылок для создания резервных копий в виде снимков, как это сделал Майк Рубель или http://webgnuru.com/linux/rsync_incremental.php, что в основном сводится к:

rsync -avh --delete --link-dest=<previous-backup> <source> <backup-location>

Я не видел никаких явных упоминаний файловых систем для этого. Я знаю, что я могу сделать это на NTFS, но есть ли какие-нибудь хиты? будут ли создаваемые таким образом резервные копии читаться как положено в OSX и Windows?

Answer 1

Я не видел никаких явных упоминаний файловых систем для этого. Я знаю, что я могу сделать это на NTFS, но есть ли какие-нибудь хиты? будут ли создаваемые таким образом резервные копии читаться как положено в OSX и Windows?

Хотя это уже давно, я бы хотел упомянуть еще одну проблему, с которой я столкнулся в последние годы, помимо таких вещей, как потеря разрешений. Хотя NTFS может хранить несколько жестких ссылок для файлов, их количество ограничено 1023, и у меня были предыдущие обсуждения, в которых сообщалось, что производительность по меньшей мере более старых систем Windows/NTFS при удалении файлов с большим количеством ссылок была очень плохой. Это была дискуссия на немецком форуме об инструменте под названием HardlinkBackup, который по сути работает так же, как rsync в отношении жестких ссылок. Некоторым пользователям потребовались часы или дни, чтобы удалить 25'000 файлов с 10 ссылками из некоторой истории резервного копирования. Те же люди не сообщали о каких-либо проблемах с сопоставимой установкой, использующей более старую файловую систему Linux и ext *. Я сам не распознал такую проблему во время моих собственных тестов, но в моих тестах дела начали замедляться, и 50 ссылок тоже.

Так что, хотя я полагаю, что со времени Windows 7 ситуация значительно улучшилась, особенно потому, что в наши дни Windows использует жесткие ссылки для обновлений и многое другое, возможно, было бы неплохо на самом деле протестировать его с более обширной историей резервного копирования.

Answer 2

Rsync создает зеркала, а зеркала не являются резервными копиями; только если у вас есть как минимум 2, предпочтительно 3+, этих USB-устройства хранения данных и их чередуйте (в этом случае упомянутые вами проблемы --delete не важны).

Вы должны рассмотреть возможность использования более подходящего инструмента, такого как duplicity, dejadup (по сути, интерфейс для двуличности), rdiff-backup или другого инструмента, который хранит историю ваших файлов.

NTFS, вероятно, будет в порядке со всеми из них, при условии, что точное дублирование атрибутов файла, таких как пользователь, группа и т.д., Не особенно важно. Я полагаю, что двойственность, в частности, не будет заботиться, потому что она хранит все ваши данные в архивах (я использую это с облачным хранилищем Amazon S3).