Как я могу заблокировать этот сайт, который я администрирую (http://test.puttinout.com/), для поисковых систем?
Как я заметил, Google проиндексировал большинство наших страниц, но нам не нужно, чтобы Google индексировал эти страницы для нас.
Проверьте детали индекса Google здесь.
Добавьте файл robots.txt в корневой каталог. Итак, создайте текстовый файл с именем Robots.txt со следующей информацией внутри (это заблокирует все):
User-agent: *
Disallow: /
Затем загрузите этот файл в корневой каталог веб-сайта на вашем сервере.
Поищите в Google файл robots.txt для получения более подробной информации (например, блокировка определенных страниц или даже определенных ботов).
Или используйте NOINDEX в метатеге
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Так как сайт был проиндексирован, вам может потребоваться запросить его индексацию страниц: https://support.google.com/webmasters/answer/164734?hl=ru.
Итак, в блокноте добавьте следующее
User-agent: *
Disallow: test.puttinout.com
Назовите его robots.txt и загрузите в корневой каталог.
Проблема с вышеупомянутым состоит в том, что это работает только для двигателей, которые подчиняются файлу роботов. Итак, другой способ, если у вас есть статический IP-адрес. Просто перенаправьте все соединения на ваш сайт (кроме вашего IP-адреса) с ваших тестовых страниц.
Другой вариант - принудительно войти в систему при тестировании. Это может быть даже пароль javascript, поскольку он не должен быть безопасным. Затем, после входа в систему, аутентифицируйте пользователя с помощью файла cookie или аналогичного.