Уменьшить скорость сканирования Google

Инфраструктура сканирования Google имеет сложные алгоритмы для определения оптимальной скорости сканирования для сайта. Наша цель — сканировать как можно больше страниц вашего сайта при каждом посещении, не перегружая ваш сервер. В некоторых случаях сканирование вашего сайта Google может вызывать критическую нагрузку на вашу инфраструктуру или приводить к нежелательным расходам во время сбоя. Чтобы облегчить это, вы можете принять решение уменьшить количество запросов, выполняемых сканерами Google.

Поймите причину резкого увеличения сканирования

Резкое увеличение сканирования может быть вызвано неэффективностью структуры вашего сайта или другими проблемами с вашим сайтом. Основываясь на отчетах, которые мы получали в прошлом, наиболее распространенными причинами являются:

• Неэффективная конфигурация URL-адресов на сайте, которая обычно вызвана специфической функциональностью сайта:
  • Фасетная навигация или другая функциональность сортировки и фильтрации сайта
  • Календарь с большим количеством URL-адресов для конкретных дат
• Цель динамических поисковых объявлений

Мы настоятельно рекомендуем вам проконсультироваться с вашей хостинговой компанией и просмотреть недавние журналы доступа вашего сервера, чтобы понять источник трафика и увидеть, соответствует ли он вышеупомянутым распространенным причинам резкого увеличения сканирования. Затем ознакомьтесь с нашими руководствами по
управлению сканированием URL-адресов фасетной навигации
и
оптимизации эффективности сканирования.

Срочно уменьшите трафик сканеров (для чрезвычайных ситуаций)

Если вам нужно срочно уменьшить скорость сканирования на короткий период времени (например, на пару часов или 1-2 дня), верните 500, 503, или 429 код состояния ответа HTTP вместо 200 на запросы сканирования. Инфраструктура сканирования Google снижает скорость сканирования вашего сайта, когда сталкивается со значительным количеством URL-адресов с 500, 503, или 429 кодами состояния ответа HTTP (например, если вы
отключили свой веб-сайт). Сниженная скорость сканирования влияет на все имя хоста вашего сайта (например,
subdomain.example.com), как на сканирование URL-адресов, возвращающих ошибки, так и на URL-адреса, возвращающие контент. Как только количество этих ошибок уменьшится, скорость сканирования автоматически начнет снова увеличиваться.

Исключительные запросы на уменьшение скорости сканирования

Если предоставление ошибок сканерам Google невозможно на вашей инфраструктуре,
подайте специальный запрос
чтобы сообщить о проблеме с необычно высокой скоростью сканирования, указав в своем запросе оптимальную скорость для вашего сайта. Вы не можете запросить увеличение скорости сканирования, и может потребоваться несколько дней, чтобы запрос был оценен и выполнен.