Как я могу узнать, сколько и какие страницы, файлы моего сайта просматриваются поисковыми системами?
Как я могу узнать, сколько и какие страницы, файлы моего сайта просматриваются поисковыми системами?
2 ответа
1
Они все просматриваются, если на них ссылается другая страница. Вы можете запретить определенным веб-роботам индексировать ваши страницы с помощью файла robots.txt , который они должны уважать, но даже при наличии такого файла, вероятно, есть веб-роботы, которые его не уважают. Я знаю, что большие парни (Google, Yahoo, Bing ...) будут уважать файл robots.txt, но, возможно, есть и более мелкие, которые могут этого не делать.
1
Я нашел свой ответ здесь
http://www.seobench.com/search-engine-crawler-simulator/index.php