Является ли более эффективным rsync несжатых текстовых данных или те же данные в сжатом виде?

Question

Rsync копирует только измененные части файла. Так что, если у меня большой дамп данных, например, база данных SQL в текстовом формате, и я хочу скопировать его на свой локальный компьютер, используя как можно меньшую пропускную способность, что мне делать?

Я могу оставить его как несжатый текст и использовать rsync с ключом -z, или я могу распаковать его на сервере и выполнить rsync файл gzip.

Я подозреваю, что незначительное изменение в исходном текстовом файле SQL может привести к большему перемешиванию данных в сжатой версии gzip, поэтому rsync придется выполнять больше работы по мере изменения файла.

Кроме того, поскольку ключ -z в любом случае выполняет сжатие, это может быть наиболее эффективным. Однако я не уверен.

Answer 1

Я прошел формальный процесс проверки этого пару лет назад. Мне нужно было скопировать резервные копии MS-SQL из (30!) из региональных офисов в штаб-квартиру через широкополосные VPN, и я попробовал все варианты сжатия и отсутствия сжатия.

В моем случае несжатые файлы передавались быстрее, используя rsync с собственным сжатием. Размеры файлов обычно составляли 4-9 ГБ выгруженных данных, и некоторые из них синхронизировались бы через несколько минут.

Если дампы данных были сжаты, rsync каждый раз передавал файлы целиком, и это занимало часы.

Стоит провести несколько тестов с вашими данными, но я подозреваю, что вы обнаружите, что лучше оставить файлы такими, какие они есть для rsync, чтобы разобраться.

Answer 2

Ваше предположение, скорее всего, верно, лучше сжать только измененные части.