Как я могу наилучшим образом преобразовать 1,8 ТБ отдельных файлов, используя LFTP?

Question

Я смотрел зеркалирование файлов и каталогов на FTP-сервере на внешний жесткий диск с помощью Raspberry Pi.

Я использовал следующие команды:

lftp user@adress.com

mirror --use-pget-n=8 /

Файлы загружаются, но, похоже, работают довольно медленно. Примерно после 10 часов работы было загружено только 139 ГБ. Всякий раз, когда я запускал загрузку с помощью Filezilla на моем рабочем столе (под управлением Linux Mint), я загружал 200 ГБ за 4 часа.

Я не знал, сколько сегментов нужно загрузить в каждый файл, поэтому я выбрал 8. Однако я не совсем уверен в преимуществах разбиения файла на сегменты.

Моя скорость загрузки, согласно Speedtest.net, достигает пика около 40 Мбит / с и обычно составляет около 30 Мбит / с.

Есть ли какие-либо параметры, которые я мог бы использовать для повышения производительности, или это аппаратное обеспечение Raspberry Pi?

Я заархивировал бы все файлы и скачал бы их за один раз, только у меня нет никакого другого доступа к серверу.

Благодарю.

Answer 1

Самый быстрый способ загрузки файлов с этого FTP-сервера - запуск lftp на сервере и загрузка файлов через интерфейс обратной связи.

Ваш вопрос неточный (оставьте пока это в стороне).

---

Speedtest дает биты в секунду. 40 Мбит / с - это 5 МБайт. 5 МБ / с * 3600 с * 4 = 72 КБ или примерно 70 Гигабайт. Если бы ваша скорость была 40 МБ / с (320 Мбит / с), то вы бы скачали примерно 560 гигабайт за четыре часа. Я не думаю, что даже самые новые жесткие диски потребительского уровня могут писать так быстро, поэтому вам понадобится SSD-накопитель. Те даже доступны в 500 или больше концертов?

Вы видите узкое место в 47 МБ / с с описанной конфигурацией, и наиболее вероятным источником этого является (если не сам жесткий диск) USB-подключение внешнего жесткого диска. Однако вы не указали, что диск был подключен через USB. Насколько я знаю, RasPi может загружаться на сетевой диск. В этом случае вы все равно будете ограничены теоретическим пределом USB 2 60 МБ / с, потому что сеть Ethernet на RasPi на самом деле является USB-адаптером.

Мои комментарии неубедительны, но я думаю, что разумно сделать вывод, что аппаратное обеспечение RasPi является причиной узкого места.

---

Сегментация файлов становится более важной при загрузке через нестабильное соединение (или UDP). Если ваша сеть не часто выпадает во время передачи одного файла, использование сегментации на уровне приложения не даст вам ничего, кроме нескольких дополнительных контрольных сумм. На самом деле, по всей вероятности, вы даже не увидите их.