Распространенные ошибки

Список распространенных ошибок Яндекса — это самая полезная страница в его рекомендациях, потому что каждый пункт описывает сайт, который кажется правильным его владельцу, но считывается роботом неправильно.

Восемь ошибок

• Навигация через скрипты. Робот не переходит по ссылкам, созданным на JavaScript или Flash. Дублируйте их обычными текстовыми ссылками, иначе эти разделы останутся необнаруженными.
• <iframe>. Документы, загруженные в iframe, не индексируются, поэтому контент, размещенный там, не учитывается для содержащей его страницы.
• Чрезмерные автоматические перенаправления. Избегайте их, за исключением случаев, когда URL действительно изменился по техническим причинам.
• Нестабильные URL. Каждая страница должна располагаться по единому постоянному адресу — без идентификаторов сессий и с минимальным количеством CGI-параметров.
• Клоакинг, включая безовинную версию: региональные варианты сайта, показывающие роботному пользователю не то же самое, что обычному.
• Изображения вместо текста. Яндекс приводит специфическую и недооцененную причину: большинство внешних ссылок ведут на главную страницу, поэтому главная страница, представляющая собой картинку без текста, делает анализ контента менее надежным — самый сильный сигнал сайта попадает на страницу, которую поисковая система не может прочитать.
• Мягкий 404. Возврат 200 страницы-заглушки для отсутствующих URL означает, что поисковая система считает страницу существующей, сохраняет ее в базе данных и замедляет индексацию полезных страниц.
• Неисправный движок сайта. Ошибки в скриптах, которые создают разные URL для одной и той же страницы в зависимости от пройденного пути, а также уязвимости движка, позволяющие злоумышленникам вставлять ссылки на вредоносные сайты.

Заключительное правило

“Чем проще и понятнее ваш сайт, тем лучше он индексируется.” Это собственная формулировка Яндекса и правильная проверка для любого архитектурного решения — хитрая схема навигации, требующая от поисковой системы понимания фреймворка, является решением быть понятым хуже.

Две самые частые ошибки на практике

Мягкий 404 и навигация исключительно на скриптах. Обе невидимы в браузере, обе обычно возникают из-за настроек фреймворка по умолчанию, а не по осознанному выбору, и обе напрямую сокращают объем индексируемого сайта.