Итак, недавно я проверил свой сайт с помощью теста, удобного для мобильных устройств Google, и основной проблемой при загрузке было «Googlebot заблокирован robots.txt». Мой robots.txt разрешает боту Google, я думаю?
Что вы думаете, ребята? В чем здесь проблема?
Я уверен, что ваш файл robots.txt разрешает все на вашем домене, и все работает правильно.
Похоже, происходит то, что у вас есть ресурсы с других сайтов, встроенных в вашу страницу, и ТОЛЬКО ЭТИ РЕСУРСЫ не отслеживаются Google, потому что robots.txt для тех доменов, которые находятся вне вашего контроля и, вероятно, не должны индексироваться в любом случае - есть файлы robots.txt, чтобы запретить их.
Если вы посмотрите на отчет и нажмете на выделенный «robots.txt» рядом с каждой строкой - он показывает файл robots.txt для URL-адреса - и они находятся за пределами вашего домена, и совершенно другой файл robots.txt.
