Индексирование сайта

Руководство Яндекса по индексированию представляет собой контрольный список с конкретными техническими ограничениями — именно эти ограничения стоит запомнить.

Шаги по настройке

1. Добавьте сайт в Яндекс Вебмастер.
2. Отправьте sitemap, который также может задавать приоритет краулинга, сообщая роботу, какие страницы обновляются часто, чтобы он планировал обход соответственно.
3. Настройте robots.txt: Disallow для технических разделов и разделов с низкой ценностью, и Clean-param для незначительных параметров CGI. Яндекс подробно описывает режим сбоя для идентификаторов сессий: формально различные URL с идентичным содержимым, и если их много, робот индексирует их вместо загрузки полезного контента.

Жесткие лимиты

• Документы размером более 10 МБ не индексируются.
• Большое количество параметров CGI, глубоко вложенные директории или чрезмерно длинные URL могут помешать индексированию.
• PDF: индексируется только текст. Текст, отрисованный как изображение, не индексируется, из-за чего все сканированные брошюры и каталоги на основе изображений остаются невидимыми.
• Форматы Open Office XML и OpenDocument индексируются, хотя поддержка новых форматов может запаздывать.
• .swf файлы индексируются, если они напрямую связаны ссылкой или встроены через object или embed; контент внутри Flash-файла может привести робота обратно к содержащему его HTML-документу.
• frameset и frame контент индексируется, причем исходный документ определяется по содержимому фрейма.

Два серверных требования

• Несуществующие URL должны возвращать 404. Получив его, поисковая система удаляет документ из индекса — в этом и заключается механизм, и именно поэтому soft-404 оставляет удаленные страницы на месте на неопределенный срок. Всё, что должно индексироваться, обязано возвращать 200 OK.
• Заголовки HTTP должны быть корректными, и Яндекс особо выделяет ответ на If-Modified-Since: заголовок Last-Modified должен содержать подлинную дату изменения документа. Сервер, который врет об этом, возвращая текущее время для каждой страницы, заставляет повторно скачивать неизмененный контент и впустую тратит краулинговый ресурс.

Практические приоритеты

Из всего вышеперечисленного максимальную пользу на реальных сайтах приносят два пункта: корректная 404 обработка и честный Last-Modified с работающими условными ответами. И то, и другое относится к настройкам сервера, и то, и другое невидно в браузере, и и то, и другое обычно настроено неверно.