Robots.txtИспользование robots.txt
robots.txt устанавливает параметры обхода для поисковых роботов. Ограничение разделов снижает нагрузку на сервер и ускоряет работу сайта. Яндекс поддерживает протокол…
Robots.txt
Robots.txtДиректива User-agent
Робот ищет записи, начинающиеся с User-agent: и сопоставляет либо подстроку Yandex (без учета регистра), либо *. Правила приоритета строги и…
Директивы Disallow и Allow
Disallow запрещает сканирование разделов или страниц; Allow разрешает их. Яндекс перечисляет, что находится за Disallow: страницы с конфиденциальными данными, результаты…
Robots.txtДиректива Sitemap
Директива Sitemap указывает, где располагается карта сайта. Их может быть несколько, по одной на строку: User-agent: Yandex Allow: / sitemap:…
Директива Crawl-delay
Crawl-delay игнорируется Яндексом с 22 февраля 2018 года. Любой сайт, на котором все еще прописана эта директива, содержит строку кода,…
Robots.txtДиректива Clean-param
Clean-param — это расширение Яндекса, не имеющее аналогов на других площадках: оно сообщает роботу, какие параметры URL не изменяют содержимое…
Robots.txtКак проверить, принадлежит ли робот Яндексу
Роботы могут выдавать себя за Яндекс, настраивая user agent. Проверка выполняется с помощью обратного поиска DNS, и эту процедуру стоит…
Robots.txtКак снизить нагрузку на сайт или сервер?
Робот планирует свои визиты и автоматически регулирует нагрузку. Запросы могут резко возрасти, когда он обнаруживает новый раздел, структурные изменения или…