Для каждой исключенной страницы указана конкретная причина, которая отображается в разделе Indexing → Searchable pages → Excluded pages. Яндекс здесь необычайно откровенен — Google ничего подобного не показывает, — и эта причина является диагнозом, поэтому список следует читать по статусу, а не по URL.
Причины исключения
- Малоценная или не пользующаяся спросом — алгоритм решил ее не включать. Это не нарушение.
- Ошибка загрузки или обработки (3XX, 4XX, 5XX) — проверьте с помощью проверки ответа сервера; убедитесь, что страница находится в карте сайта и ее не блокирует ни одна директива.
- Заблокировано в robots.txt или с помощью
noindex— удалите запрет. Если вы его не добавляли, обратитесь к хостинг-провайдеру или регистратору и проверьте, не истек ли срок действия домена. - Страница перенаправляет робота в другое место — подтвердите, что редирект запланирован.
- Дубликат другой страницы.
- Не каноническая — страница указывает на другое место с помощью
rel="canonical". Подтвердите, что это сделано намеренно. - Адрес распознан как альтернативный — группировка зеркал поглотила его; разгруппировка — это отдельная процедура.
- На сайте обнаружены нарушения — проверьте разделы «Безопасность и нарушения».
Два вопроса, которые возникают при каждом аудите
«Страница отлично открывается в моем браузере». Яндекс прямо указывает причину: заголовки, которые отправляет робот, отличаются от браузерных, поэтому страница может работать для браузера и не работать для робота. Кроме того, страница, исключенная из-за ошибки загрузки, покидает список только после того, как снова становится доступной для робота — проверьте ответ сервера, и если он возвращает 200 OK, дождитесь следующего обхода.
«Эти страницы больше не существуют». Список включает URL, до которых робот доходил, но не индексировал, включая те, которых больше нет. Они исчезают только тогда, когда они недоступны для робота в течение определенного периода и на них никто не ссылается ни внутри, ни снаружи. Яндекса здесь вновь успокаивает: исключенные страницы не влияют на позиции сайта.
Закономерность, стоящая за большинством больших списков исключений
Яндекс называет это прямо: товары, отличающиеся только цветом, размером или конфигурацией; страницы пагинации; страницы подбора и сравнения товаров; страницы картинок без текста. Автоматически сгенерированные пары title и description , дублирующие друг друга, усугубляют ситуацию. На сайте каталога это обычно единое шаблонное решение, а не тысячи отдельных проблем.
После исправления
Отправьте страницу на переиндексацию, вместо того чтобы ждать. Робот продолжает посещать исключенные страницы, и специальный алгоритм переоценивает их перед каждым обновлением индекса, поэтому исправленная страница может вернуться примерно в течение двух недель.
Как мы это применяем
We work this list grouped by status and sorted by count, because a hundred exclusions almost always reduce to two template causes. The status that most often turns out to be a genuine mistake is “not canonical”: a canonical tag generated by a plugin pointing every filtered page at the category root, quietly removing pages the client intended to rank. It is invisible in a browser and obvious in this report.
Связанные услуги