Массовая загрузка набора URL с логином

Question

Возможный дубликат:
Как я могу скачать весь сайт

Я ищу массовой загрузки, чтобы помочь мне загрузить всю базу данных с сайта, на котором у меня есть аккаунт. Требования просты:

1. Авторизуйтесь, используя мой логин и пароль (логин на основе формы)
2. Загрузите все URL-адреса формы " http://site.com/ID ", где идентификатор меньше 1000.

Что я должен использовать?

Answer 1

GetGo Download Manager, кажется, делает это:

Вы можете легко настроить пакетную загрузку, которая не только загружает большой список файлов, используя шаблон шаблона URL, но также автоматически переименовывает загруженные файлы, используя шаблон шаблона имени файла.

Answer 2

Я строго рекомендую NeoDownloader. Я использую это годами.

Он загружает с защищенных паролем сайтов и поддерживает загрузку диапазонов URL.

Answer 3

Попробуйте Orbit Downloader. МНОГИЕ варианты доступны с этим.

Answer 4

Мне повезло с Offline Explorer. Позволяет вам получить доступ к защищенным паролем страницам и имеет множество дополнительных параметров.

Answer 5

Вы можете сделать это с помощью wget и, возможно, очень простым скриптом (в зависимости от того, как настроен сайт).

Answer 6

HTTRACK работает как чемпион по копированию содержимого всего сайта. Этот инструмент может даже захватить части, необходимые, чтобы веб-сайт с активным содержимым кода работал в автономном режиме.