Директива crawl-delay — это команда в файле robots.txt веб-сайта, которая предписывает сканерам поисковых систем, в частности Yandexbot, выжидать определенное количество секунд между последовательными запросами. Внедряя эту директиву, веб-мастера более эффективно управляют ресурсами сервера, предотвращая перегрузку хостинг-инфраструктуры ботом в периоды интенсивной индексации. Эта настройка помогает поддерживать скорость сайта для живых посетителей, гарантируя при этом, что поисковые системы продолжают получать доступ к контенту с устойчивой скоростью.
Зачем использовать директиву crawl-delay для Яндекса?
Управление частотой посещения вашего сайта поисковым роботом — важнейшая часть технического обслуживания. Когда сервер получает сотни запросов в минуту от робота, он должен выделять процессорное время и память для обработки каждого процесса. Для сайтов со сложными бэк-ендами или большими базами данных такое распределение ресурсов может привести к увеличению времени ответа для реальных клиентов. Yandexbot может быть довольно активен, и если ваш сервер не настроен на обработку высокой параллельности, вы можете столкнуться с резким ростом ошибок 503 Service Unavailable.
Высокая частота сканирования в целом полезна для быстрой индексации нового контента. Однако стабильность сайта важнее. Если сервер падает или существенно замедляется, страдает пользовательский опыт, что может косвенно повлиять на ваши позиции. Использование задержки создает буфер, который позволяет серверу передохнуть между обращениями ботов. Это особенно полезно для сайтов на общем хостинге (shared hosting) или VPS-тарифах с ограниченными ресурсами.
Мы часто видим, как серверы борются с одновременными запросами от нескольких ботов. Установка конкретной задержки для Yandexbot предотвращает эти пики без полной остановки процесса индексации. Это простой, но эффективный способ обеспечить стабильность.
SEO-команда Alien Road
Как отформатировать директиву crawl-delay в robots.txt
Синтаксис этой директивы прост, но для ее распознавания она должна быть размещена в правильном разделе вашего файла robots.txt. Яндекс ищет эту инструкцию конкретно в блоках User-agent: Yandex или User-agent: *. Значение представляет собой количество секунд, в течение которых бот должен подождать перед началом нового запроса после завершения предыдущего.
- Разместите директиву на отдельной строке в файле robots.txt.
- Используйте двоеточие, за которым следует пробел, а затем числовое значение.
- Убедитесь, что значение является целым числом или десятичной дробью, если поисковая система это поддерживает.
- Для лучшего контроля директива должна быть частью определенного блока User-agent.
- Убедитесь, что нет конфликтующих правил Allow или Disallow, которые могут запутать парсер.
Например, если вы хотите, чтобы Yandexbot ждал 5 секунд между запросами, ваш файл будет выглядеть так: User-agent: Yandex, а на следующей строке Crawl-delay: 5. Это говорит роботу, что он может делать только один запрос каждые пять секунд. Если на вашем сайте 10 000 страниц, индексация всего сайта займет больше времени, но нагрузка на ваш сервер останется стабильно низкой.
Поддерживает ли Яндекс дробные значения задержек?
Хотя многие веб-мастера используют целые числа, такие как 1, 2 или 10, документация Яндекса указывает, что дробные значения также допустимы. Например, значение 0.5 будет означать задержку в полсекунды, что позволяет делать два запроса в секунду. Это более агрессивная настройка, чем целая секунда, но она все же обеспечивает небольшой зазор, который может предотвратить лавинообразный поток запросов за одну миллисекунду.
Стоит протестировать различные значения, чтобы найти правильный баланс. Слишком большая задержка может означать, что ваши последние посты в блоге или обновления продуктов будут появляться в результатах поиска неделями. И наоборот, слишком малая задержка может не решить проблемы с производительностью сервера. Большинство средних веб-сайтов находят, что значение от 0.5 до 2.0 хорошо подходит для их нужд.
Как Alien Road применяет директиву crawl-delay
В рамках типичного проекта наша команда начинает с анализа логов сервера и статистики краулинга, представленной в панелях веб-мастеров. Мы ищем закономерности, при которых активность ботов коррелирует с высоким использованием памяти или повышенной задержкой для пользователей. Alien Road использует подход на основе данных, чтобы определить, необходима ли задержка или серверу просто требуется более качественное кеширование.
- Шаг 1: Проанализируйте логи сервера, чтобы определить пиковую частоту запросов Yandexbot.
- Шаг 2: Сравните время краулинга со временем ответа сервера (TTFB), чтобы понять, замедляет ли бот сайт.
- Шаг 3: Внедрите консервативное значение Crawl-delay, например 2, в файл robots.txt.
- Шаг 4: Следите за отчетом «Статистика обхода» в Яндекс Вебмастере, чтобы убедиться, что бот по-прежнему посещает важные страницы.
- Шаг 5: Скорректируйте значение на основе скорости индексирования и работоспособности сервера в течение 14-дневного периода.
Например, у магазина на Shopify, продающего предметы роскоши, могут быть тысячи комбинаций фильтров, которые Yandexbot пытается проиндексировать. Это может создать огромную нагрузку. Применяя определенную задержку, мы гарантируем, что сайт останется быстрым для покупателей, позволяя Яндексу находить самые важные страницы товаров. Мы ставим во главу угла пользовательский опыт, так как медленный сайт в конечном итоге теряет и клиентов, и позиции в поиске.
Можно ли вместо этого использовать инструменты Яндекс Вебмастера?
Да, Яндекс предоставляет графический интерфейс в Яндекс Вебмастере для настройки скорости обхода. Это можно найти в меню «Настройки индексирования». Инструмент позволяет перемещать ползунок для указания желаемой скорости. Этот метод часто проще для тех, кто не привык редактировать текстовые файлы на своем сервере. Тем не менее, директива в robots.txt считается более надежной многими техническими специалистами по SEO, так как она находится непосредственно в корне сайта.
Если вы установите и директиву в robots.txt, и значение в панели веб-мастера, Яндекс обычно следует инструкции в панели, так как это более свежая и прямая настройка. Мы рекомендуем использовать один метод последовательно, чтобы избежать путаницы. Если у вас есть разработчик, управляющий сервером, файл robots.txt обычно является лучшим местом для этой конфигурации.
Хотя директива полезна, это довольно грубый инструмент. Мы предпочитаем комбинировать ее с кешированием на стороне сервера, чтобы снизить реальный вес обработки каждого визита бота. Таким образом, даже если бот заходит часто, серверу не приходится работать на пределе возможностей.
SEO-команда Alien Road
Каковы распространенные ошибки с этой директивой?
Одна из главных ошибок — установка слишком большой задержки, например 60 секунд. Задержка в 60 секунд означает, что бот может сканировать всего 1440 страниц в день. Для крупного интернет-магазина с 500 000 страниц на сканирование всего сайта один раз уйдет больше года. Это фактически уничтожает ваши SEO-показатели. Другая ошибка — забывать, что у разных ботов разные имена. Использование ‘User-agent: Googlebot’ с crawl-delay никак не повлияет на Яндекс.
Ошибки синтаксиса также распространены. Размещение директивы вне блока User-agent делает ее недействительной. Аналогично, использование неверного регистра или написания — например ‘Crawl-speed’ вместо ‘Crawl-delay’ — приведет к тому, что Yandexbot полностью проигнорирует это правило. Всегда используйте инструмент валидации для проверки файла robots.txt после внесения изменений.
С чего начать на этой неделе
Начните с проверки своего аккаунта в Яндекс Вебмастере на предмет предупреждений о доступности сервера. Если вы видите частые ошибки 5xx во время обхода, это явный знак того, что вам нужно внедрить задержку. Добавьте простой Crawl-delay: 2 в ваш файл robots.txt под агентом Яндекса. Следите за производительностью сервера в течение трех дней, чтобы убедиться, что нагрузка на процессор стабилизировалась. Если вы не видите улучшений, возможно, вам потребуется заняться более глубокой оптимизацией на стороне сервера или индексацией базы данных.