Я бы предложил заглянуть в библиотеку под названием Selenium. Он также существует как расширение для Firefox, но я бы также установил lib, чтобы поиграть с кодом, который генерирует расширение. Лично я использовал Python.
Расширение действует как рекордер для всех действий, которые вы выполняете в вашем веб-браузере. Как только вы закончите запись, он попытается сгенерировать код на выбранном вами языке. По моему опыту, вам придется немного подправить этот код, чтобы заставить его работать правильно, но все будет в порядке.
Используя Selenium, вы можете написать скрипт, который:
- Открывает браузер на amazon.com
- Окно поиска кликов
- Ищет название предмета
- Переходит на страницу товара
- Захватывает URL страницы элемента
- Экспортирует URL в .txt или что-то еще, что вы хотите с ним сделать
Как только вы получите работающий код, вы можете настроить задачу в crontab в Linux или Windows Scheduler в Windows, чтобы выполнять ваш скрипт так часто, как вам нравится.
Вот страница документации для Selenium для получения дополнительной информации http://www.seleniumhq.org/docs/