Есть ли рабочий стол или веб-приложения, которые будут искать неработающие ссылки на моем веб-сайте?
Я хочу, чтобы он оставался в домене, который я ему предоставляю, и проверял ссылки, переходящие с одной страницы на другую, а также ссылки, переходящие на другие веб-сайты. Я хотел бы сообщить 404, 5XX, 3XX и другие ошибки.
Проверка ссылок на рабочем столе
Сетевые проверки ссылок
LinkChecker - это бесплатный, лицензированный по GPL валидатор URL.
рекурсивная и многопоточная проверка
выводить в цветном или обычном тексте, HTML, SQL, CSV, XML или графике карты сайта в разных форматах
HTTP/1.1, HTTPS, FTP, mailto:, news:, nntp:, Telnet и поддержка локальных файловых ссылок
ограничение проверки ссылок с помощью фильтров регулярных выражений для URL
поддержка прокси
Авторизация имени пользователя /пароля для HTTP и FTP и Telnet
уважает протокол исключения robots.txt
Поддержка куки
Проверка синтаксиса HTML и CSS
Антивирусная проверка
интерфейс командной строки
графический интерфейс клиента
(быстрый) веб-интерфейс CGI (требуется HTTP-сервер)
Вы можете использовать инструмент проверки ссылок W3C - W3C Link Checker.
Я использую надстройку LinkChecker Firefox для проверки отдельных страниц (проверка W3C - другой, менее дружественный вариант).
Для наборов страниц или целых сайтов ранее упоминавшаяся ссылка Xenu Link Sleuth очень быстрая, поскольку (в отличие от вышеуказанных опций) она проверяет множество ссылок одновременно.
Вы также можете запустить wget в режиме -spider . Смотрите http://linux.die.net/man/1/wget для man-страниц wget :)
wget -spider <URL> похоже на то, что вы спрашиваете.
