Я ищу менеджер веб-загрузки, который может быть умным и перезаписывать или переименовывать только файлы нового или измененного размера. Несколько раз в год мне нужно освежить локальные копии от нескольких десятков до сотен гигабайт файлов.
На сегодняшний день я использовал FileZilla и WinSCP, которые имеют возможность сравнивать локальную метку даты / времени и размер файла с копией сервера и загружать только то, что отличается. Очень полезная функция, которая экономит часы и часы времени и 100 ГБ пропускной способности, как для меня, так и для хостов.
Ftp все еще работает, однако хосты дросселируют ftp до 4-х соединений и максимальная суммарная скорость ~ 1-2 МБ / с. Один и тот же сайт по протоколу http ограничен 8 соединениями и общей скоростью ~ 3-4 МБ / с. С помощью ftp мне нужно настроить работу на ночь и посмотреть, как все прошло утром (и, возможно, повторить некоторые). С помощью http я могу запустить задание на обед и чуть-чуть, даже если слепо перезаписывает все, а не только измененные файлы, и немедленно реагировать на ошибки или повторы.
Итак, есть ли способ массовой загрузки только новых измененных файлов из http-источника?
Windows предпочтительнее, но я могу раскрутить виртуальную машину Linux, если это лучший курс.
Это корпоративная настройка, которая запрещает и применяет набор правил брандмауэра "без торрентов". Жаль, что это идеальный сценарий для не-варезного применения одноранговой технологии.
Источник для тестирования: http://ftp2.cits.rncan.gc.ca/pub/geobase/official/nhn_rhn/
