Вопросы с меткой [robots.txt]

Многие веб-сайты включают в свои условия обслуживания информацию о запрете автоматического доступа. Один пример находится в файле robots.txt на ebay: Использование роботов или других ...

Я замечаю, что в некоторых случаях статьи о платных новостях, похоже, индексируются Google, потому что отрывки из истории появляются в поисковой выдаче. Тем не менее, когда я захожу на эти веб-сайты ...

Итак, я удалил IIS на моем сервере Windows и решил попробовать Xampp для размещения моих доменов. Порт 80 используется, и я перепробовал все исправления, с которыми столкнулся за последние 2 дня. Мне ...

Я собираюсь кодировать веб-сканер, но прежде чем я захочу узнать, что будет возможно сканировать. Скажите, если я ошибаюсь, но на веб-сайтах robots.txt указаны папки, а не URL-адреса, которые можно и ...

У меня есть системный скрипт, который обновляет базу данных SQL, которая отправляет мне сообщения об ошибках. Недавно сервер, на котором размещен SQL, был перемещен, новый сервер работал хорошо в ...

Я пытаюсь установить ROS(операционную систему робота) на свой компьютер с Windows 10, 64bit. Является ли это возможным? И есть ли процесс, чтобы сделать это?

Мы настроили один из веб-сайтов на сервере, а сайт строит в среде php и symfony, так как мое требование состоит в том, чтобы запретить Google индексирование и ниже моего файла robot.txt и не ...

Итак, недавно я проверил свой сайт с помощью теста, удобного для мобильных устройств Google, и основной проблемой при загрузке было «Googlebot заблокирован robots.txt». Мой robots.txt разрешает боту ...