Загрузка многих больших файлов на удаленный сервер

Question

Я нахожусь в процессе создания резервной копии вне сайта, и мне нужно выполнить начальную загрузку данных. В настоящее время это около 400 ГБ, дать или взять 10 ГБ или около того ... Система резервного копирования создает файлы объемом около 4 ГБ каждый, а также имеет некоторые другие, более мелкие связанные файлы. Итак, мне нужно перенести все 400-гигабайтные концерты на удаленный сервер, но как? Какой метод самый лучший?

У меня есть полный удаленный доступ к серверу, поэтому я могу установить все, что мне нужно для установки. На самой коробке работают Windows, Linux и виртуальная машина Solaris, поэтому там можно использовать любую из них, а у меня дома есть Windows и Linux. У меня есть 2 интернет-соединения в доме, загрузка по 10 Мбит / с на каждое, поэтому может пригодиться что-то, что потенциально может разделить количество соединений (вроде как GetRight, но наоборот ... Исправлять?).

[Обновление] Я попробовал приведенный ниже вариант использования RSync, но между моей рабочей станцией и сервером установлено только одно соединение. При загрузке больших файлов в Amazon существует возможность локального их разделения и разрыва на стороне сервера. несколько файлов также отправляются через несколько соединений. Таким образом, файл размером 4 ГБ можно разделить на фрагменты размером 800 МБ по 5 МБ и отправлять по 4 или 8 одновременно, используя максимально возможную пропускную способность. Итак, как бы я сделал это автоматически? Я мог бы взломать что-нибудь вместе, чтобы сделать это и использовать SFTP для отправки файлов, но есть ли автоматическая опция?

Answer 1

Rsync будет работать лучше всего, скорее всего.

rsync -avzP /source user@host:/destination

Приведенный выше синтаксис может быть использован для копирования файлов через ssh и позволит вам возобновить передачу с того места, где он был прерван, в случае отключения. -v и -P являются необязательными, но настоятельно рекомендуется в вашем случае.

-v говорит rsync распечатать текущий файл на экране.

-z говорит rsync сжать данные. Это может значительно увеличить скорость передачи через WAN-соединения.

-P говорит rsync сделать две вещи: во-первых, предоставить процентное продвижение на экран, так же, как --progress . Во-вторых, он оставит частично переданные файлы на сервере, поэтому, если есть разрыв, он оставит этот частичный файл на сервере, чтобы вы могли возобновить его. Это так же, как --partial

Поскольку это предназначено для резервного копирования за пределы площадки, существует множество опций, которые вы можете добавить в rsync, чтобы сделать его очень надежным. Вы можете очень легко превратить его в инкрементную резервную копию, если хотите.

Во время второй передачи, если какие-либо данные изменились, rsync просто скопирует последние изменения, оставив остальные в покое.