Дополнительная статистика и анализ файлов robots.txt

06 февраля 2006 г.

Сегодня мы выпустили новые функции для Sitemaps.

анализ robots.txt

Если на сайте есть
файл robots.txt,
на новой вкладке robots.txt
отображается то, как Googlebot видит

этот файл, включая время последнего доступа Googlebot к нему, возвращаемый статус и информацию о том, блокирует ли он доступ к вашей главной странице. На этой вкладке также перечисляются все синтаксические ошибки в файле.

Вы можете ввести список URL-адресов, чтобы проверить, разрешает или блокирует их файл robots.txt.

Вы также можете протестировать изменения в файле robots.txt, введя их здесь и проверив в отношении агента пользователя Googlebot, других пользовательских агентов Google или стандарта Robots. Это позволяет поэкспериментировать с изменениями, чтобы увидеть, как они повлияют на сканирование сайта, а также убедиться в отсутствии ошибок в файле перед внесением изменений на ваш сайт.

Если у вас нет файла robots.txt, вы можете использовать эту страницу для тестирования потенциального файла robots.txt перед добавлением его на свой сайт.

Дополнительная статистика

Статистика сканирования теперь включает страницу вашего сайта с самым высоким PageRank по месяцам за последние три месяца.

Анализ страниц теперь включает список наиболее частых слов в контенте вашего сайта и во внешних ссылках на него. Это дает дополнительную информацию о том, почему ваш сайт может появляться по определенным поисковым запросам. Опубликовано