У меня уже был вопрос о просмотре веб-страниц с помощью wget. но когда я читаю немного больше, я понимаю, что, возможно, ищу программу для сканирования веб-страниц. в частности, часть о том, что веб-сканеры могут получать конкретные данные, такие как ссылки или, в моем случае, продукты.
Все продукты на моем сайте имеют следующее соглашение об именах: website.com/uniqueAlphaNumericID.html
насколько я знаю, динамическая генерация контента не используется и только одна страница на один элемент в вышеуказанном формате.
Должен ли я просто думать о:
wget website.com | grep * .html
или я должен смотреть на пауков / краулеров?
1