Я использую rsync для синхронизации каталога на моем внешнем жестком диске USB. Это около 150 гигабайт данных. 50000+ файлов, я думаю.
Сейчас он запускает первую синхронизацию, но копирует файлы со скоростью всего 1-5 МБ / с. Это кажется невероятно медленным для корпуса USB 2.0. Других передач на диске тоже нет.
Вот варианты, которые я использовал:
rsync -avz --progress /mysourcefolder /mytargetfolder
Я использую Ubuntu Server 9.10.
Если вы используете rsync с быстрой сетью или с диска на диск на той же машине,
не использует сжатие -z
и используя --inplace
ускоряет его до производительности жестких дисков или сети
сжатие использует много процессора
не используя InPlace делает Жёсткий трэш много (он использует временный файл , прежде чем создавать окончательный)
сжатие и не использование на месте лучше делать через Интернет (медленная сеть)
НОВОЕ: знать о месте назначения ... если включено NTFS-сжатие ... это сильно тормозит большие файлы (я бы сказал, 200 МБ +), rsync почти застопорился, это вызвано этим.
Для первой синхронизации просто используйте
cp -a /mysourcefolder /mytargetfolder
rsync добавляет накладные расходы только тогда, когда место назначения пусто.
Кроме того, опция -z, вероятно, снижает производительность, ее не следует использовать, если вы не передаете данные по медленной ссылке.
Используйте опцию -W . Это отключает дельта / сравнения сравнения. Когда время / размеры файла различаются, rsync копирует весь файл.
Также удалите опцию -z . Это полезно только для сжатия сетевого трафика.
Теперь rsync должен работать так же быстро, как и cp .
Первое - количество файлов в этом случае будет основным фактором. Это средний размер 3 МБ каждый. Вероятно, узкое место io влияет на скорость в случае OP. Больше здесь - это довольно сухое чтение, но изображение на обложке того стоит.
Итак, используя rsync для копирования в пустой каталог? Вот несколько способов ускорить его:
rsync -a /source /destination >/somewhere/rsync.out 2>/somewhere/rsync.err - первый> в основном печатает файл со всеми материалами, которые вы обычно видите и 2> относится к сообщениям об ошибках.Моя команда будет:
rsync -avAXEWSlHh /source /destination --no-compress --info=progress2 --dry-run
Если бы все выглядело хорошо, я бы удалил «--dry-run» и отпустил его. A, X и E охватывают расширенные атрибуты и разрешения, не охватываемые -a, l - для мягких ссылок, H - для жестких ссылок, а h - для чтения человеком.
Обновление уже синхронизированного каталога на USB-накопителе, или на том же диске, или по сети, потребует различных команд rsync для максимизации скорости передачи.
Бонус - вот справочная страница rsync, и если вы хотите проверить скорость вашего жесткого диска, bonnie++ - хороший вариант, а для скорости вашей сети попробуйте iperf.
Посту уже почти десять лет, но поисковым системам он нравится, и я продолжаю его видеть. Это хороший вопрос, и я не думаю, что лучшим ответом на вопрос "как ускорить rsync" должно быть "используйте вместо этого cp".
Вы не говорите, какой размер у ваших файлов. Если имеется много небольших файлов, то это снизит общую скорость передачи за счет увеличения задержки перемещения головки как на исходном, так и на целевом дисках, поскольку инструмент открывает новые файлы, а ОС сохраняет записи каталога и другие метаданные (например, журнал файловой системы, если вы используете ведение журнала метаданных (например, ext3/ext4 и NTFS) по умолчанию во время передачи. Процесс копирования файла будет "в ходу" только для больших объектов, когда происходит простая массовая передача.