Идентификация и блокировка ресурсоемких запросов Googlebot

Блокировка ресурсоемких запросов Googlebot включает в себя идентификацию конкретных URL-адресов или шаблонов файлов, которые потребляют чрезмерное количество ресурсов процессора и памяти сервера, а затем использование директив robots.txt или кодов состояния HTTP для управления доступом. Этот процесс гарантирует, что ваш сервер останется стабильным, позволяя роботу находить ваш самый ценный контент. Отслеживая логи сервера и Search Console, вы можете точно определить скрипты или большие файлы, которые замедляют процесс сканирования и влияют на скорость вашего сайта.

Что характеризует ресурсоемкий запрос?

Ресурсоемкий запрос возникает, когда робот посещает страницу, для обработки которой требуются значительные усилия сервера. Это часто случается с динамическими URL-адресами, которые генерируют контент «на лету». Например, страница результатов поиска на сайте электронной коммерции может запускать сложные запросы к базе данных каждый раз, когда ее посещает Googlebot. Эти запросы потребляют больше оперативной памяти и ресурсов процессора, чем простой статический HTML-файл.

Большие медиафайлы и неоптимизированные скрипты также относятся к этой категории. Если Googlebot пытается получить сотни изображений высокого разрешения или больших PDF-документов за короткий промежуток времени, нагрузка на сервер возрастает. Такое поведение может замедлить работу сайта для реальных пользователей. Идентификация этих закономерностей — первый шаг к эффективному управлению сканированием.

Как логи сервера могут помочь определить интенсивность сканирования?

Логи сервера предоставляют необработанную запись каждого взаимодействия между Googlebot и вашим веб-сайтом. Каждая запись содержит IP-адрес, отметку времени и конкретный запрошенный URL. Фильтруя эти логи по User-Agent Googlebot, вы можете увидеть, какие разделы вашего сайта сканируются наиболее часто. Высокая частота обращений к одному и тому же каталогу часто указывает на цикл сканирования или неэффективную структуру сайта.

Ваш веб-сервер ведет запись каждого запроса к вашему сайту, включая запросы от Googlebot.

Google Search Central

Анализ времени ответа на эти запросы помогает найти «узкие места». Если определенные URL-адреса постоянно отвечают роботу дольше 2 секунд, они являются ресурсоемкими. Вы можете использовать такие инструменты, как awk или grep на Linux-серверах, для извлечения этих данных. Ищите коды состояния, такие как 200, которые имеют высокие значения ‘time taken’ в формате вашего лога.

Общие поля для мониторинга в логах сервера

• IP-адрес клиента: Проверяет, действительно ли запрос исходит из диапазона IP-адресов Google.
• URL запроса: Идентифицирует конкретный путь, включая параметры запроса, такие как ?sort=price.
• Код состояния HTTP: Показывает, был ли запрос успешным (200) или вызвал ошибку (500).
• Затраченное время: Измеряет миллисекунды, которые сервер потратил на обработку запроса.
• User Agent: Подтверждает, является ли это мобильной или десктопной версией Googlebot.

Использование robots.txt для управления доступом робота

Файл robots.txt — ваш основной инструмент для общения с роботами поисковых систем. Вы можете использовать директиву ‘Disallow’, чтобы запретить Googlebot доступ к ресурсоемким каталогам. Например, если ваши страницы внутреннего поиска замедляют работу сервера, вы можете полностью заблокировать путь /search/. Это остановит робота от инициации этих дорогостоящих вызовов базы данных.

Правильная конфигурация гарантирует, что робот тратит свое время на страницы, которые повышают видимость в поиске.

Google Search Central

Важно быть конкретным в своих директивах. Блокировка важных CSS или JavaScript файлов может помешать Googlebot правильно отображать ваши страницы. Это может привести к проблемам с индексацией, из-за которых ваш сайт будет выглядеть сломанным в результатах поиска. Всегда тестируйте изменения в robots.txt в инструменте Google Search Console robots.txt Tester перед их внедрением в продакшн.

Почему Googlebot иногда перегружает сервер?

Googlebot пытается сканировать ваш сайт так быстро, как позволяет ваш сервер, не вызывая проблем. Однако, если конфигурация вашего сервера слабая или на вашем сайте есть «бесконечные пространства», робот может непреднамеренно вызвать скачок нагрузки. Бесконечные пространства часто создаются виджетами календаря или сложными системами фильтрации, которые создают бесконечное количество уникальных URL-адресов. Каждый из этих уникальных URL-адресов выглядит для робота как новая страница.

Более того, внезапное увеличение нового контента может спровоцировать всплеск активности сканирования. Если вы переносите сайт или загружаете тысячи новых товаров, Googlebot будет работать усерднее, чтобы обнаружить и проиндексировать эти элементы. Если сервер не готов к такому объему, ему может быть трудно обслуживать запросы как для бота, так и для ваших клиентов. Мониторинг отчета «Статистика сканирования» в Search Console помогает увидеть эти тенденции на ранней стадии.

Как Alien Road применяет управление сканированием

В Alien Road мы следуем систематическому процессу для защиты серверных ресурсов наших клиентов при сохранении высокой видимости в поиске. Мы начинаем с тщательного аудита логов сервера, чтобы определить 5% URL-адресов, которые потребляют больше всего времени обработки. В типичном аккаунте мы часто обнаруживаем, что динамические фильтры или идентификаторы сессий являются главными виновниками. Затем мы внедряем конкретные правила для обработки этих случаев.

Например, для магазина Shopify со сложными тегами товаров мы можем обнаружить, что Googlebot сканирует тысячи комбинаций фильтров. Мы используем инструмент параметров URL и robots.txt, чтобы ограничить это поведение. Наша команда настраивает автоматические оповещения, которые уведомляют нас, если среднее время ответа для Googlebot превышает определенный порог. Это позволяет нам реагировать до того, как замедление сервера повлияет на пользовательский опыт.

Наш пошаговый процесс аудита

• Сбор логов: Мы собираем 30 дней необработанных логов сервера, чтобы увидеть долгосрочные закономерности сканирования.
• Проверка бота: Мы выполняем обратный DNS-поиск, чтобы убедиться, что трафик является законным Googlebot, а не скрапером.
• Идентификация путей: Мы группируем URL-адреса по каталогам, чтобы найти, какие разделы сайта являются наиболее ресурсоемкими.
• Внедрение директив: Мы обновляем файл robots.txt, чтобы запретить несущественные, тяжелые пути.
• Мониторинг производительности: Мы отслеживаем «Статистику сканирования» в GSC, чтобы подтвердить, что нагрузка снизилась.

Можно ли использовать коды состояния, чтобы замедлить Googlebot?

Если ваш сервер находится под немедленной нагрузкой, вы можете использовать коды состояния HTTP, чтобы сигнализировать Googlebot о необходимости замедлиться. Код состояния 429 (Too Many Requests) специально разработан для этой цели. Когда Googlebot получает код 429, он понимает, что должен снизить скорость сканирования на определенный период. Это временное решение для предотвращения полного сбоя сервера во время высокого трафика.

Другой вариант — код состояния 503 (Service Unavailable). Это говорит роботу, что сервер временно не может обработать запрос. Кроме того, вы можете использовать заголовок ‘Retry-After’ с кодом 503, чтобы предложить, когда роботу следует вернуться. Хотя они эффективны, их следует использовать экономно, так как постоянные ошибки 503 или 429 могут в конечном итоге привести к удалению страниц из индекса.

План действий на ближайшие дни

Начните с доступа к Google Search Console и перехода к отчету «Статистика сканирования» в меню «Настройки». Проверьте график «Среднее время ответа» на наличие резких скачков. Если вы видите всплески, запросите необработанные журналы сервера у вашего хостинг-провайдера или ИТ-команды. Найдите URL-адреса, которые запрашивались в эти пиковые моменты, чтобы определить тяжелые ресурсы.

После того как вы определили проблемные пути, обновите файл robots.txt, чтобы заблокировать их. Если ресурсы необходимы для рендеринга страницы, например, большие файлы JavaScript, рассмотрите возможность оптимизации кода или использования Content Delivery Network (CDN) для снижения нагрузки на сервер. Продолжайте ежедневно отслеживать статистику сканирования, чтобы убедиться, что ваши изменения оказывают желаемый эффект на производительность сервера.