Странные записи в журнале Apache, поступающие с IP-адреса Google

Question

У меня есть такого рода сообщения об ошибках в моем файле журнала ошибок Apache:

[Wed Sep 27 18:45:34.289807 2017] [:error] [pid 17543] [client 66.249.79.21:47149] PHP Notice:  Undefined variable: catNameUrl in /var/www/dev/page/page_display.inc.php on line 73
[Wed Sep 27 18:59:11.964934 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  getimagesize(../include/images/sizes/3GHI9W6AyEI5/--1000.jpg): failed to open stream: No such file or directory in /var/www/dev/page/index_framed.php on line 66

И 1000 раз в час:

[Wed Sep 27 18:59:11.973506 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973729 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973878 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.974017 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335

так далее...

Дело в том, что на запрашиваемой странице нет реферера. Это обычный журнал ошибок:

[Wed Sep 27 09:09:39.877580 2017] [:error] [pid 29730] [client XX.XX.XX.XX:18888] PHP Notice:  Undefined index: cat in /var/www/dev/page/page_display.inc.php on line 441, referer: https://dev.mywebsite.com/page/redaction/p/10

https://www.abuseipdb.com/check/66.249.79.17 -> Паук поисковой системы Google

Я думаю, что он открывает неправильные URL-адреса, а затем не может открыть файл, который используется для динамического создания изображения.

Почему в журнале нет реферера, когда этот ip достигает моего сайта?

Answer 1

Почему в журнале нет реферера, когда этот IP достигает моего сайта разработчиков?

Боты, включая Googlebot, обычно не отправляют заголовки реферера.

Другое соображение заключается в том, что нет заголовков реферера для отправки, если к странице обращаются напрямую (в этих случаях заголовки реферера обычно пусты, если это не запрограммировано).

В более общем плане вас может заинтересовать этот вопрос для веб-мастеров, в котором есть хороший список других причин, по которым заголовки реферера не отправляются (хотя две из перечисленных выше наиболее вероятны).

Answer 2

Скорее всего, это сканер Google, пытающийся проиндексировать контент вашего сайта. Так что я бы не волновался об этом. Тем не менее, вы утверждаете это:

И 1000 раз в час ...

И приведите эти строки в качестве примера:

[Wed Sep 27 18:59:11.973506 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973729 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.973878 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335
[Wed Sep 27 18:59:11.974017 2017] [:error] [pid 18906] [client 66.249.79.19:58443] PHP Warning:  Division by zero in /var/www/dev/include/php/global_images.inc.php on line 335

Ключевой частью является «Предупреждение PHP: Деление на ноль…», так как это ошибка в коде и сценариях вашего сайта. Вы можете отключить предупреждения PHP на вашем рабочем сервере , которые избавят от этих сообщений об ошибках, или - мое предпочтительное решение - открыть global_images.inc.php , перейти к строке 335 и выяснить, что вызывает деление на ноль ошибок и патч это.

Вы никогда не сможете полностью контролировать то, как бот сканирует ваш сайт, что бы вы ни говорили. Но если вы хотите ограничить шум в журналах ошибок, это полностью под вашим контролем. Очистите код или сбросьте ошибку уровня «предупреждение» на своем сайте и не теряйте больше сна из-за этого, чем нужно.