Статистика обхода — это лог того, что реально сделал робот: какие страницы он запросил, когда и что ответил сервер. Это первый отчет, который стоит открыть, если с индексацией что-то не так, поскольку он описывает события, а не состояния. Данные обновляются ежедневно, в течение шести часов после визита робота, а история восходит к 20 февраля 2017 г..
Два представления
- Последние изменения — страницы, чей HTTP-код ответа изменился между визитами, до 50,000 записей. Внимательно учтите ограничение: изменение фиксируется только тогда, когда код ответа изменяется. Контент, изменяющийся при стабильном
200 OK, здесь вообще не появляется. - Все страницы — все, что обошел робот, также ограничено 50 000, с датой обхода, путем и последним кодом ответа.
Оба представления можно фильтровать по дате, фрагменту URL или коду ответа и экспортировать в XLS или CSV.

Как читать колонки Was и Currently
Первичный обход показывает N/a в Was и ответ в Currently; после загрузки в базу данных страница может появиться в результатах при следующем обновлении индекса. Повторный обход показывает предыдущий ответ в сравнении с текущим, и именно здесь кроются полезные паттерны: 200 становится 404 наборе URL — это результат выката, который что-то сломал, и это видно здесь за несколько дней до того, как проявится в трафике.
Почему удаленные страницы продолжают обходить
Яндекс объясняет поведение, которое озадачивает большинство владельцев сайтов: страница, исключенная из поиска, остается в базе данных, пока робот продолжает проверять, не вернулась ли она. Он продолжает запрашивать ее до тех пор, пока на нее существуют ссылки и robots.txt не запрещает это. Таким образом, удаленные годы назад URL продолжают появляться в этом отчете — робот нашел ссылку на чужом сайте. Если обход действительно нежелателен, решением является правило Disallow ; если URL просто старые, они не создают проблем, кроме лишнего шума.
Анализ на уровне разделов
Отчет можно ограничить разделом сайта, используя структуру, выделенную Яндексом, — что само по себе информативно, поскольку раздел, о котором консоль не знает, — это раздел, который робот должным образом не исследовал. Страницы, полностью отсутствующие в списке, следует отправить через инструмент переиндексации.

Цифра, за которой стоит следить
Частота обхода по разделам. Если робот посещает блог ежедневно, а коммерчески важную категорию раз в месяц, это находка, касающаяся краулингового бюджета, и она объясняет, почему обновления в этой категории начинают работать только через недели.
Как мы это применяем
This is the first report we open when a client says pages are “not being indexed”, because it separates two completely different problems: the robot never came, or the robot came and the server answered badly. Filtering by response code across a date range takes a minute and settles it. The behaviour we most often have to explain is the robot repeatedly requesting URLs deleted long ago — it is following links from other sites, not malfunctioning.
Связанные услуги