Структура сайта

Робот находит страницы, переходя по ссылкам. Yandex заявляет о последствиях прямо: документ, на который не ведут ссылки, никогда не будет обнаружен и будет проигнорирован в поиске. Таким образом, структура — это не эстетический вопрос.

Шесть правил

1. Поддерживайте четкую структуру ссылок. Каждый документ принадлежит к разделу и должен быть доступен через реальную <a href> ссылку. Yandex добавляет факт, который стоит учитывать при планировании: время индексации частично зависит от глубины вложенности — чем глубже находится страница, тем дольше она может индексироваться. Большинство посетителей также заходят через главную страницу, так как домен легче запомнить, чем внутренний URL.
2. Используйте карту сайта в крупных проектах, чтобы помочь роботу находить и анализировать документы.
3. Ограничьте индексацию технических страниц. Дубликаты, результаты внутреннего поиска, страницы статистики — Yandex точно объясняет, почему это важно: такие страницы постоянно добавляются и обновляются, поэтому они часто сканируются, в то время как страницы с важной информацией остаются незамеченными. Это аргумент о краулинговом бюджете, изложенный словами самой поисковой системы.
4. Дайте каждой странице уникальный, описательный URL. Транслитерация помогает роботу определить тему; приведенный пример показывает, как много сообщает хорошо сформированный URL еще до того, как страница будет загружена.
5. Предоставьте текстовые ссылки на разделы, чтобы робот узнал, что они содержат.
6. Проверьте символические ссылки чтобы URL-адреса не могли расти бесконечно. Страницы с повторяющимися токенами — example.com/vasya/vasya/vasya/ — могут вообще не индексироваться. Это классическая ловушка бесконечного пространства, создаваемая относительными ссылками в неправильно настроенном шаблоне.

Детали кодировки

Используйте одну и ту же кодировку для страниц и для кириллических URL. Когда робот находит href="/корзина" на странице в кодировке UTF-8, он сохраняет ссылку в этой кодировке, поэтому страница должна быть доступна по эквиваленту, закодированному в процентах. Несоответствие здесь приводит к ссылкам, которые работают в браузере, но выдают 404 для робота.

Что с этим делать

Проверьте три вещи на любом сайте: что каждая страница, достойная индексации, доступна по прямой ссылке, что ничего важного не находится глубже трех-четырех уровней, и что URL-адреса фильтров и поиска исключены. Эти три пункта охватывают большую часть того, что описано на этой странице, и большую часть того, что идет не так.