Проверка страницы показывает для конкретного URL, что получает робот и что Яндекс решил по его поводу. Это инструмент, который прекращает большинство споров, так как заменяет фразу «страница выглядит нормально» реальным ответом.
Что отслеживается
- Код ответа кода ответа , который получает бот. Всё, кроме
200 OK, может привести к исключению страницы. - Как контент выглядит для бота — решающая проверка для всего, что рендерится на стороне клиента.
- Статус страницы: добавлена в поиск, исключена и почему.
- Мобильная адаптация для данной страницы.
Выбор бота
Проверку можно запустить для разных роботов Яндекса, при этом выбранный юзер-агент отображается под полем. Это важнее, чем кажется: фильтр ботов или правило CDN, разрешающие основному индексирующему роботу и блокирующие мобильного, создают сайт, который нормально индексируется, но проваливает каждую мобильную проверку. Проверить одного агента и предположить, что остальные такие же, — вот почему это остается незамеченным месяцами.
Тест If-Modified-Since
Поле, которым мало кто пользуется и которое должны использовать крупные сайты. Введите дату и проверьте обработку сервером условных запросов:
- Укажите реальную дату последнего изменения страницы — ответом должен быть
200 OK. - Укажите другую дату — ответом должен быть
304 Not Modified.
Сервер, который отвечает полным телом на каждый условный запрос, заставляет робота заново скачивать неизмененные страницы, расходуя краулинговый бюджет, который необходим новым и обновленным страницам. На крупном каталоге это один из немногих реальных рычагов управления краулинговым бюджетом, находящийся полностью под вашим контролем. 200 Рендеринг JavaScript
Отдельный бета-инструмент «Индексирование» → «Рендеринг JavaScript-страницы» проверяет страницы, контент которых зависит от скриптов. Если обычная проверка страницы показывает то, что получил робот, то эта показывает, что переживает рендеринг, и разрыв между ними — это как раз то место, где рождаются споры в стиле «контент же прямо здесь, в моем браузере».
Рабочая привычка
Запускайте это для конкретного проблемного URL, а не для главной страницы, и прежде чем объявлять что-то исправленным в диагностике сайта — преждевременное заявление об исправлении стоит 30 дней ожидания.
Проверка страницы | Yandex — Alien Road
Как мы это применяем
This is the tool we open first on almost every technical question, and the If-Modified-Since test is the one clients have never run. On one catalogue site the server answered 200 to every conditional request; fixing that returned a large share of the crawl budget to pages that had been waiting weeks to be re-read. The bot selector is the other habit worth forming — always repeat the check as the mobile robot.
Связанные услуги