Я ищу инструмент FLOSS, который загружает все страницы (и встроенные ресурсы, например изображения), связанные в карте сайта XML (созданной в соответствии с http://www.sitemaps.org/).
Инструмент должен регулярно сканировать lastmod сайта и искать новые и удаленные URL-адреса и изменения в последнем элементе. Таким образом, всякий раз, когда страница добавляется / удаляется / обновляется, инструмент должен применить изменения.
Некоторые файлы Sitemap отображают вложенные карты сайта в sitemapindex → sitemap . Инструмент должен понимать это и загружать все связанные вложенные карты сайта и искать там URL-адреса.
Я знаю, что есть инструменты, которые позволяют мне извлекать все URL-адреса из карты сайта, чтобы я мог передавать их в wget или аналогичные инструменты (см., Например: Извлечение ссылок из карты сайта (xml)). Но это не поможет получить уведомление об обновлениях страниц. Отслеживание самих веб-страниц на наличие обновлений не работает, потому что "вторичный" контент на страницах меняется ежедневно, а lastmod обновляется только при изменении соответствующего контента.