Как проверить, доступен ли сайт для пользователей и индексирующих роботов?

Доступность — это предварительное условие для всего остального. Яндекс прямо указывает на последствия: если робот не может зайти на сайт из-за ошибки сервера, сайт может полностью исчезнуть из результатов поиска — и по той же причине посетители тоже не смогут на него зайти.

Три вида проверки

• Диагностика сайта (Оптимизация сайта → Диагностика сайта) со сводным виджетом на панели управления. Именно здесь проблемы с доступностью отображаются в первую очередь.
• Безопасность и нарушения. Яндекс напрямую связывает безопасность с доступностью: зараженные сайты обычно блокируются антивирусным ПО в браузере, а хостинг-провайдеры часто отключают зараженные сайты, делая их недоступными как для посетителей, так и для роботов. Инцидент с вредоносным ПО — это инцидент с доступностью.
• Проверка страницы (Инструменты → Проверить страницу), которая является наиболее информативной из трех, поскольку показывает три разные вещи одновременно.

Что на самом деле дает вам проверка страницы

• A скриншот страницы в том виде, в каком она отображается на мобильных устройствах и ПК, во вкладке результатов аудита.
• The текст, доступный для индексирующего бота, в разделе «версия страницы в базе данных → содержимое страницы». Это окончательный ответ на вопрос «может ли робот прочитать эту страницу».
• The код ответа, в технической информации.

Яндекс четко формулирует правило: 200 OK означает, что страница доступна для ботов и посетителей; любой другой код означает, что она недоступна ни для тех, ни для других и не может появиться в результатах поиска.

Как это использовать

Если страница отсутствует в поиске, в первую очередь проверьте доступность, причем проверяйте ее как робот, а не в браузере. Скриншот и сохраненное содержимое страницы вместе отвечают на два важных вопроса — как она выглядит и что из нее действительно может прочитать поисковая система, а разрыв между ними — это то место, где кроется большинство сюрпризов.