Тот факт, что веб-сервер компании возвратил печально известную ошибку HTTP 404 на URL, не означает, что ресурс не существует.
Это только означает, что веб-сервер решил, что для вас этот ресурс не существует.
Веб-сервер может идентифицировать вас как платящего клиента многими способами, главным из которых является идентификационный файл cookie HTTP, хранящийся в вашем браузере.
Когда файл cookie не найден, веб-сервер обычно запрашивает у вас вход в систему, а в случае успеха возвращает этот файл cookie.
Вопрос в том, почему Googlebot разрешен доступ, а вы нет?
Со временем робот Googlebot обнаружит практически любой веб-сайт, но веб-мастер может запросить скорейшее посещение с помощью инструментов, содержащихся в разделе Получить контент в Google. Он также может направить бота в определенные папки с помощью файла Robots.txt.
Пример такого файла:
User-agent: googlebot
User-agent: google
User-agent: bingbot
User-agent: bing
Disallow: /bedven/bedrijf/
Crawl-delay: 10
User-agent: *
Disallow: /
Бот идентифицирует себя, используя в заголовке HTTP-запроса тег агента пользователя , например googlebot .
Однако предположить, что личность Googlebot не так просто.
Веб-сайт может легко проверить личность бота, выполнив обратный поиск DNS на IP-адресе доступа.
В этом случае возвращаемое доменное имя должно быть либо googlebot.com либо google.com , что вы сами не можете подделать.
Если вы полностью контролируете свой веб-сервер, например, через PHP, вы можете продублировать этот механизм и создать так называемый «веб-сайт членства».
Такое программное обеспечение называется членским программным обеспечением.
Если вы не являетесь программистом PHP или не желаете таких вложений своего времени, существует множество альтернативных программ с открытым исходным кодом, а также множество коммерческих продуктов, которые будут конкурировать за ваш бизнес.
Будьте очень критичны, если вы решите выбрать один, и тщательно проверьте его в Интернете для обзоров.
Для получения дополнительной информации просмотрите следующие ресурсы, которые я нашел с помощью поиска (не обязательно лучшие, а некоторые носят коммерческий характер, но они помогут вам начать работу):
