Я хотел бы просканировать свой веб-сайт и создать список внутренних и исходящих ссылок, а также их конечный пункт назначения и HTTP-код (по крайней мере, для внутренних ссылок). Как я могу это сделать?
Обратите внимание: меня не интересует содержание страницы, кроме как найти в ней ссылки.
Следующее может быть рассмотрено:
http://www.httrack.com - Несмотря на то, что он создан для загрузки веб-сайтов, вы можете просто создать отчет со всеми ссылками.
http://scrapy.org/download/ - наиболее подходит (я думаю) для ваших нужд.
Я лично использовал HtTrack на Windows. Он доступен и для Linux. Если вам нужны дополнительные детали, добавьте комментарий.
