1

Я хочу передать 1 ТБ файл через Интернет. У меня есть контроль над обеими машинами (отправитель Unix, получатель Linux). Я могу открыть FTP, OpenVPN, NFS, ...

До сих пор возобновление работы по какой-то причине не стабильно на FTP, поэтому я разрезаю файл на части по 1 ГБ и передаю файл на файл, а затем md5 с другой стороны. Это очень раздражает.

У меня есть от 3 до 6 мегабайт / сек для другого сайта. Что довольно приличная скорость.

Я хочу, чтобы это было безопасно, и я хочу возобновить, если это не удастся. Я пробовал NFS - без возобновления.

Есть ли более чистый и безопасный способ?

2 ответа2

5

Я думаю, что rsync позволяет возобновить предыдущие передачи.

$ rsync -aP src/ dest:dir/

man rsync

2

Если вам нужен перезапуск, rsync - это, вероятно, путь. Я обнаружил, что один из самых быстрых способов работы с сетью - это "Samba", но для получения отличной производительности его обычно нужно настроить для среды. Но то, что я подразумеваю под "быстрым", - это локальная сеть 1 Гбит, запись 125 МБ / с и чтение 119 МБ / с. Запись 125 МБ / с идет так же быстро, как и вы, если ваша полезная нагрузка не может быть сжата - то есть текстовый файл размером 1 ТБ, вероятно, будет сжат до 1/10 размера.

Обратите внимание ... проблема с /rsync, "прямой" состоит в том, что он обычно использует какой-то другой протокол (rsh /ssh) для выполнения передачи - если вы используете rsync вместо "ssh", вы будете нести расходы на шифрование, которые на Хороший аппарат добавляет потолок 140-160МБ / с. Это обычно увеличивает задержку в сетевом соединении и замедляет общую передачу на 50% и более.

Таким образом, самый быстрый способ зависит от того, какую сеть вы используете между двумя компьютерами. Низкая скорость интернета (например, 5-10 МБ / с) или локальная сеть (с 1 ГБ или, возможно, даже 10 ГБ).

Если скорость передачи является наиболее важной и больше, чем общая скорость, я бы "подготовил" файл для передачи, запустив его через хороший компрессор (например, xz или 7z) - НО, который сам по себе займет большую часть времени ( поэтому общее время, скорее всего, будет больше). Но если фактическая скорость передачи важнее, сжатие становится хорошим способом сократить это.

Это действительно зависит от того, где находятся ваши приоритеты и сколько времени вы хотите потратить на оптимизацию скорости передачи. В целом, я думаю, что sirlancelot дал правильный ответ, просто может быть много смягчающих факторов в зависимости от ваших приоритетов.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .