Проверка ответа сервера

Проверка ответа сервера — это наиболее используемая диагностика в консоли, поскольку она показывает то, что получает робот, а не то, что рендерит браузер. Яндекс начинает с правила, которое делает ее решающей: если ответ не равен 200 OK, или содержит одно из перечисленных сообщений, страница исключается из результатов поиска.

Что она сообщает

• The HTTP-статус.
• The Статус SSL-сертификата для HTTPS-сайтов — с длинным списком конкретных ошибок: эмитент не найден, подпись недействительна или не расшифровывается, сертификат еще не активен, просрочен, самоподписанный и ненадежный, цепочка содержит только один несамоподписанный сертификат, отозван, цепочка слишком длинная, неверный тип сертификата, корень ненадежный или в черном списке, или сертификат уже выдан другому сайту. Они решаются через центр сертификации или хостинг-провайдера, а не на самом сайте.
• Диагностические сообщения , охватывающие распространенные сбои.

Сообщения, которые стоит знать

• Не удалось загрузить документ / не удалось подключиться. Три причины: робот заблокирован на сервере (проверьте блокировку по IP), ошибка DNS или таймаут — ответ должен поступить в течение 3 секунд.
• noindex тег отключает индексирование, или индексирование запрещено в robots.txt.
• Документ слишком большой — лимит 10 МБ.
• Неподдерживаемый формат — HTML плюс PDF, DOC/DOCX, XLS/XLSX, PPT/PPTX, ODS/ODP/ODT/ODG, RTF, TXT и SWF.
• Язык не распознан, или документ не содержит текста.
• Содержимое страницы отсутствует — проверьте HTTP-заголовок, потому что Content-length: 0 делает страницу неиндексируемой, а заявленный размер должен соответствовать фактическому содержимому.

Как правильно ее использовать

Выберите конкретного робота — в выпадающем списке находятся основные агенты, а тестирование только по умолчанию скрывает блокировку, специфичную для мобильных устройств. Используйте поле If-Modified-Since для подтверждения условных ответов: реальная дата изменения страницы должна возвращать 200, любую другую дату 304.

Оговорка, которую указывает сам Яндекс

Инструмент отправляет запросы с другого IP-адреса, чем робот, поэтому его результат может отличаться от того, что фактически получает робот. Когда они расходятся во мнениях, авторитетом является лог сервера.