Я ищу программу для паука веб-сайта * и загрузки контента на диск. У меня, однако, есть следующие требования, которые приводят к отключению программ, которые я пробовал:
- Процесс входа на сайт распределяется между несколькими страницами, поэтому я должен иметь возможность запустить сеанс вручную с помощью моего веб-браузера, пройти аутентификацию, затем запустить паука и дать ему доступ к файлам cookie.
- Многие ссылки выполняют Javascript, а затем возвращают содержимое.
- Многие ссылки возвращают PDF-документы (некоторые пауки поддерживают это).
Пока что я не могу найти паука, который может справиться с № 1 и № 2.
* Сайт является сервисом оплаты счетов и имеет историю моих счетов. Я хочу перестать пользоваться сервисом, но хочу сохранить историю.