Как я могу скачать URL с этими требованиями?

Question

Я хочу загрузить список URL-адресов с веб-сайта, на котором у меня есть логин, и он регистрируется через форму (я полагаю, он использует куки для аутентификации).

Как я могу загрузить текст URL в программу и загрузить ее для меня, используя cookie из веб-браузера?

Кроме того, мне нужно подождать задержку между каждой загрузкой URL, чтобы она не злоупотребляла сервером, желательно случайная задержка, если это возможно.

Подскажите пожалуйста, как это сделать? Я ищу бесплатное программное обеспечение предпочтительно

Спасибо!

РЕДАКТИРОВАТЬ: Мне просто нужен менеджер загрузок, который будет загружать список URL-адресов, и он будет загружать их с помощью куки из веб-браузера!

I just want it to delay few seconds between each download!

Answer 1

Самый простой вариант для автоматизации загрузок без участия программиста - использовать так называемый макро-рекордер веб-браузера, такой как iMacros для Firefox или Kantu (Chromium). Оба варианта бесплатны. И у обоих есть команда "Ожидание", которую вы можете использовать для задержек.

Поскольку эти регистраторы автоматизируют сам веб-браузер, они также заботятся о файлах cookie и т.д. (В отличие, например, от инструмента командной строки cURL).