Можно ли зарегистрировать доменное имя, но оно не появится в поисковых системах?

Question

Мне нужно создать личный сайт, но я не хочу, чтобы он появлялся в Google или других поисковых системах. Я только хочу, чтобы определенные люди имели доступ к нему.

Например: если я куплю www.example.com, я хочу, чтобы веб-страницы были доступны только тем, кто пишет в адресной строке своего браузера этот адрес. Не в поисковых системах. Это возможно?

РЕДАКТИРОВАТЬ: я знаю о robots.txt. Но это для страниц, а не для того, что я ищу. Я ищу полное доменное имя, которое будет доступно только тем, кто его знает.

Answer 1

Строго правильный ответ - "нет", однако вы можете получить большую часть пути, если (в дополнение к тому, что роботы не поощряют использование robots.txt), заставить веб-сервер искать строку REFERER и вести себя как "Referer". поисковая система (или неавторизованный сайт).

Это зависит от вашего сервера - вы должны иметь возможность использовать mod_rewrite для соответствия переменной REFERER, если вы используете Apache (орфография верна - это ошибка в стандарте). Хотя ничто не мешает кому-то подорвать это, но это должно поймать много автоматизированных сайтов.

Другое решение может заключаться в том, чтобы ограничить доступ к серверу для ваших друзей - например, ограничив их IP-адресами (или используя VPN), или даже убедившись, что они используют определенные, неясные браузеры и проверяя это.

Если подумать, лучший способ сделать это - просто защитить паролем весь сайт с помощью .htaccess и предоставить своим друзьям учетные данные для входа!

Answer 2

Нет. Когда вы регистрируете доменное имя, это общеизвестно. Это будет невозможно держать в секрете. В тот момент, когда он появляется во всем, что видит поисковая система [пост в Facebook, твиттер, НИЧЕГО], он становится "проиндексированным". Все, что вы можете сделать через robots.txt , это попросить поисковый сайт не сканировать ваш сайт, но имя, которое их там получило, все равно будет проиндексировано. (и, к сведению, есть МНОГИЕ сканеры, которые игнорируют все в вашем robots.txt)