Большинство сайтов содержат страницы, которые никто не должен находить в поиске: служебные и административные страницы, контент, полезный только для авторизованных пользователей (например, экраны оформления заказа и профили), черновики и заглушки. Yandex объясняет, почему их скрытие — это не уборка, а вопрос ранжирования.
Три издержки того, чтобы оставлять их доступными для обхода
- Лишняя нагрузка на сайт из-за их сканирования роботом.
- Робот тратит больше времени на достижение ваших целевых страниц — краулинговый бюджет расходуется на страницы, которые никогда не попадут в топ.
- Если они проиндексированы, они конкурируют с вашими важными страницами и запутывают пользователей.
Yandex добавляет наблюдение, которое делает эту проблему особенно острой для крупных сайтов: количество таких страниц сопоставимо с количеством страниц, ради которых стоит привлекать посетителей, а зачастую и превосходит его.
Выяснение того, что именно сканируется
Индексируемые страницы → Исключенные страницы с фильтрами по параметрам низкая ценность или низкий спрос. Yandex отмечает, что этот список содержит две совершенно разные категории:
- Страницы, которые вы действительно хотите видеть в поиске и которые нуждаются в доработке.
- Страницы, изначально не предназначенные для пользователей, которые робот все равно нашел — и их следует скрыть.
Просмотр списка с учетом этого разделения превращает пугающий отчет в две понятные рабочие задачи.
Как их скрыть
Инструмент зависит от поставленной цели. Disallow в robots.txt останавливает сканирование и экономит ресурсы. noindex не позволяет странице попасть в результаты поиска, но разрешает роботу ее читать. Авторизация полностью снимает вопрос для страниц, которые никогда не должны быть публичными. Эти два метода нельзя комбинировать на одном URL: заблокированную страницу нельзя прочитать, поэтому ее тег noindex никто не увидит.
Практический приоритет
На сайте каталога самые ценные исключения — это комбинации фильтров и сортировок, результаты внутреннего поиска, а также страницы корзины и сравнения. Именно на них обычно уходит краулинговый бюджет, и их блокировка — это работа всего на один полдень, которая оказывает измеримый эффект на то, как быстро появляются новые продукты.
Как мы это применяем
The two-lists reading of the low-value report is how we run this: half the entries are usually pages the client wants and needs to improve, the other half are pages nobody meant to publish. Separating them takes twenty minutes and produces a content plan and a robots.txt change instead of a vague worry about a large number.
Связанные услуги