Система резервного копирования для медленной сети

Question

Я пытаюсь придумать какую-нибудь систему резервного копирования, которая позволила бы мне передавать минимальный объем данных каждый раз при создании новой резервной копии.

В настоящее время я делаю инкрементное резервное копирование с помощью дублирования на монтирование smb. Я ограничен этим до 1 МБ / с в данный момент (Wi-Fi / ndiswrapper глупый, но все же - я не собираюсь получать более чем 5-кратное ускорение, исправляя его).

К сожалению, удаленные, измененные и т.д. Данные затрудняют сохранение инкрементных резервных копий навсегда. Я не могу с легкостью перенести их в полное резервное копирование, а создание полной копии размером более 40 ГБ сейчас занимает немного много времени.

Есть пара вещей, которых я хотел бы достичь с помощью новой системы, и пара, о которой мне наплевать:

• Я хотел бы иметь пару контрольных точек, но, вероятно, не более 2 или 3
• Я не забочусь о шифровании, так как хранилище находится в локальной сети
• Сжатие было бы хорошо, но я думаю, что я могу просто использовать сжатие файловой системы / устройства
• Я хочу иметь возможность полностью избавиться от всего, кроме последней резервной копии, не заставляя меня делать полную копию снова

Это кажется выполнимым с помощью сжатия rsync + loop device + fs snapshotting ... но, к сожалению, мое устройство на самом деле не поддерживает снимки. Он только что получил список поддерживаемых файловых систем стандартного Debian, и я не хочу использовать btrfs для резервного копирования.

Есть ли сопоставимые решения? Как еще я могу подойти к этому?

Изменить: Я думаю, что часть снимка может быть на самом деле сделать с помощью снимков только для чтения lvm. Это также обеспечило бы еще один уровень защиты от приложений с плохим поведением.

Answer 1

rsnapshot делает инкрементные резервные копии с использованием жестких ссылок и rsync - если файл совпадает с последним, когда резервная копия была запущена, он просто жестко связывает ее. Таким образом, если вы ничего не меняете и запускаете rsnapshot каждый час в течение трех часов, у вас будет три папки:

hourly.0
hourly.1
hourly.2

Кажется, что каждый из них содержит "полную" резервную копию, но только одна копия каждого файла будет находиться на диске. Это означает, что если вы удалите hourly.2, hourly.1 и hourly.0 все равно будут содержать все файлы. Вы можете установить частоту резервного копирования и количество снимков.

Это позволит достичь вашей первой цели, однако целевая файловая система должна поддерживать жесткие ссылки, чтобы это работало.

Альтернативой этому может быть использование rsync + LVM на устройстве резервного копирования и периодическое создание снимков. Снимки LVM представляют собой тома «копирование при записи», где они остаются идентичными оригиналу, повторно используя те же блоки, что и том снимка, если только не изменяются блоки, после чего том снимка просто хранит блоки, которые отличаются. Следовательно, его размер может соответствовать скорости изменения тома, который снимается между резервными копиями.

Сжатие было бы хорошо, но если вы не хотите использовать btrfs, тогда да, понадобится какое-то сжатие файловой системы через цикл или плавкий предохранитель.