1

Как я могу узнать, сколько и какие страницы, файлы моего сайта просматриваются поисковыми системами?

2 ответа2

1

Они все просматриваются, если на них ссылается другая страница. Вы можете запретить определенным веб-роботам индексировать ваши страницы с помощью файла robots.txt , который они должны уважать, но даже при наличии такого файла, вероятно, есть веб-роботы, которые его не уважают. Я знаю, что большие парни (Google, Yahoo, Bing ...) будут уважать файл robots.txt, но, возможно, есть и более мелкие, которые могут этого не делать.

1

Я нашел свой ответ здесь

http://www.seobench.com/search-engine-crawler-simulator/index.php

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .