У меня есть HTML-файл с несколькими сотнями ссылок, моя исследовательская база данных, собранная за эти годы. Какой самый простой способ проверить, кто из них еще жив?
(об импорте в Firefox не может быть и речи)
1 ответ
4
Используйте wget. Простой, с поддержкой сценариев, командной строки и доступный на вашей любимой платформе, будь то Unix-версия, Win *, Cygwin и т.д. (Ссылки на различные версии см. В Википедии ). Из справочной страницы:
--spider
Когда вызывается с этой опцией, Wget будет вести себя как веб-паук, что означает, что он не будет загружать страницы, просто проверяет, что они там есть. Например, вы можете использовать Wget для проверки ваших закладок:
wget --spider --force-html -i bookmarks.htmlЭта функция требует гораздо больше работы для Wget, чтобы приблизиться к функциональности реальных веб-пауков.
Вам также могут понадобиться опции --no-verbose и / или --output-document=file .