Как запретить Google индексировать

Question

Мы настроили один из веб-сайтов на сервере, а сайт строит в среде php и symfony, так как мое требование состоит в том, чтобы запретить Google индексирование и ниже моего файла robot.txt и не позволяет ли использовать .htaccess?

User-agent: *
Disallow:

Так как же это предотвратить и проверить?

Answer 1

Ваш файл должен иметь имя: robots.txt Если вы видите содержимое файла в строке: http://youwebsite/robots.txt, то он должен работать. В противном случае вы можете проверить его с помощью этого инструмента Google: https://support.google.com/webmasters/answer/6062598?hl=ru.