Директивы Disallow и Allow

Disallow запрещает сканирование разделов или страниц; Allow разрешает их. Яндекс перечисляет, что находится за Disallow: страницы с конфиденциальными данными, результаты внутреннего поиска, статистика трафика, дубликаты, логи и страницы служб базы данных.

Рекомендация, которую упускают из виду

Для страниц, в адресах которых присутствуют GET-параметры, Яндекс рекомендует Clean-param а не Disallow, и объясняет почему: с Disallowон может не распознать безпараметрический аналог дубликата, и часть накопленных метрик заблокированных страниц теряется. Блокировка отбрасывает сигналы; Clean-param объединяет их на каноническом адресе.

Это принципиально иной ответ по сравнению с тем, что дают большинство технических аудитов, и он применим к самой большой категории нежелательных URL на любом коммерческом сайте — тегам отслеживания, параметрам сортировки, идентификаторам сессий.

Шаблоны

Disallow: /            # весь сайт
Disallow: /catalogue   # все, что начинается с /catalogue
Disallow: /page?       # все, чей URL содержит параметры после /page

Разрешение в комбинации

User-agent: Yandex
Allow: /cgi-bin
Disallow: /

Заблокировано все, кроме путей, начинающихся с /cgi-bin. Это обращение — заблокировать все, разрешить конкретное — является правильным решением для тестового окружения или приложения, где индексироваться должны лишь немногие разделы, и оно гораздо безопаснее перечисления каждой директории для исключения.

Чего не делает Disallow

Он не удаляет страницу из поиска. Заблокированная страница все еще может отображаться в выдаче. Хуже того, блокировка страницы мешает роботу прочитать на ней noindex , поэтому эти два инструмента никогда нельзя комбинировать на одном URL.

Перед развертыванием

Пропустите планируемые URL через анализатор — как те, которые должны быть заблокированы, так и те, которые блокировать нельзя. Правило с неверной точностью остается невидимым до тех пор, пока не пропадет трафик.