Мне нужно скачать с FTP-сайта.
Он имеет ограничения, такие как 1000 файлов в час.
Есть ли программное обеспечение FTP, где вы можете создавать правила, которые будут загружаться в спецификации такого типа? Таким образом, программное обеспечение FTP прекратит загрузку и подождет час, затем продолжит загрузку?
Если вы используете рекурсивную загрузку wget или предоставляете список файлов для получения, или оба, вы можете использовать опцию --wait чтобы получить тот же эффект.
--wait=4 добавит паузу в четыре секунды между каждым файлом, означая, что вы можете получить максимум 900 файлов в час (вы получите только 900/ час, если бы каждая передача файла была мгновенной). Если вы знаете, что загрузка каждого файла займет более 0,6 секунды, вы можете использовать --wait=3 что, очевидно, будет быстрее, но может нарушить ограничение в 1000 файлов / час (если бы каждая передача файла была мгновенной, вы могли бы получить 1200/ час).
wget находится в стандартных репозиториях практически для всех вариантов Linux (и часто устанавливается по умолчанию) и также доступен для Windows и других ОС. Это инструмент командной строки, но есть много интерфейсных оболочек для него, если вы предпочитаете (я не могу рекомендовать его лично, так как всегда использую wget из командной строки).
Клиент ncftp может использоваться в сочетании со сценарием оболочки для подсчета файлов в час.
