В отличие от другого вопроса, эти внешние запросы не являются бинарными запросами, пытающимися определить возможную слабость (я не думаю). Я безмолвно смотрел в полусне, когда мой http.server (запускается с использованием python -m http.server) показывает странные запросы на URL-адреса. Первый оператор Telstra Telecom в Австралии запросил HTTP/1.1 а через минуту China TianJin Telecom запросил http://www.baidu.com/ HTTP/1.1 . Они пытались отсканировать меня на случай, если я незаконно размещаю вещи, или как?
1 ответ
1
Существует ряд сайтов, которые сканируют IP-адреса на наличие веб-серверов или просто сканируют открытые порты. Сканеры портов могут попытаться проверить протокол на порту. У большинства из них нет злых намерений. Сканирование эффективно работает на IPv4, но минимально эффективно на IPv6.
Baidu, Yahoo, Google и целый ряд других поисковых сайтов могут сканировать ваш сайт. Они просто пытаются проиндексировать ваш сайт для своей поисковой системы. Многие из этих сайтов предоставляют ссылку, начинающуюся со знака плюс (+) в строке пользовательского агента, где вы можете найти дополнительную информацию об их сканировании.
Сканеры с хорошим поведением будут использовать только запросы GET для ссылок, которые вы выставляете (или выставляли в прошлом). (Не разрешайте GET-запросам изменять состояние вашего сайта.) Они также будут соблюдать все ограничения, предусмотренные файлом robots.txt который находится в корне вашего сайта (http://example.com/robots.txt). Этот файл имеет хорошо документированный формат.