robots.txt устанавливает параметры обхода для поисковых роботов. Ограничение разделов снижает нагрузку на сервер и ускоряет работу сайта. Яндекс поддерживает протокол исключения роботов с помощью собственных расширений.
Предупреждение, которое поступает первым и имеет наибольшее значение
Страницы, ограниченные в robots.txt все равно могут появляться в поиске Яндекса. Чтобы удалить страницу из результатов, вы должны использовать директиву noindex в HTML или в заголовке HTTP — и вы не должны блокировать эту страницу в robots.txt, потому что заблокированная страница никогда не запрашивается, а noindex никогда не отображается.
Это самое серьезное заблуждение в техническом SEO, и Яндекс заявляет об этом в первом абзаце. Блокировка предназначена для краулингового бюджета; noindex предназначен для присутствия в поиске. Использование первого для достижения второго гарантирует, что страница останется в индексе навсегда.
Требования к файлу
- Максимум 500 КБ.
- TXT-файл с именем
robots.txt. - В корневом каталоге Доступен для роботов, возвращает.
- 200 OK
Если файл не соответствует этим требованиям, сайт считается открытым для индексации..
Неправильно сформированный или недоступный файл — это не страховочная сетка, а открытая дверь. Функция перенаправления
Яндекс принимает перенаправление из
robots.txt одного сайта в robots.txt другого сайта и применяет директивы из целевого файла. Это особенно полезно при переезде сайта, когда оба домена должны представлять согласованные правила — и именно поэтому руководство по миграции настаивает на том, чтобы оба файла совпадали.Поддерживаемые директивы
User-agent
— к какому роботу применяются правила.Disallow— запрещает сканирование разделов или страниц.Sitemap— путь к карте сайта, указанный полностью с протоколом.Clean-param— расширение Яндекса, объявляющее параметры, которые нужно игнорировать.Проверка
Проверьте файл в анализаторе robots.txt консоли с реальными URL-адресами, а не только на синтаксис. Файл, который успешно проходит синтаксический анализ и блокирует не тот каталог, вообще не сообщает об ошибках.
Using robots.txt | Yandex — Alien Road
Как мы это применяем
The block-versus-noindex distinction is the single most useful thing on this page and the mistake we correct most often: a client blocks a page in robots.txt to get it out of search, and it stays in search forever because the robot can no longer read the noindex. The other detail worth remembering is that a broken robots.txt means an open site — a 500 error on that file removes every restriction at once.
Связанные услуги