Оптимизируйте свой бюджет сканирования

В этом руководстве описано, как оптимизировать сканирование Google очень больших и часто обновляемых сайтов.

Если на вашем сайте нет большого количества страниц, которые быстро меняются, или если ваши страницы, по-видимому, сканируются в тот же день, когда они публикуются, вам не нужно читать это руководство. Для Google Поиска конкретно,
поддержание актуальности карты сайта и
регулярная проверка отчета об индексировании страниц
вполне достаточно.

Для кого это руководство

Хотя рекомендации в этом руководстве, как правило, являются передовыми методами, это продвинутое руководство, предназначенное в первую очередь для следующих типов сайтов:

• Крупные сайты (более 1 миллиона уникальных страниц) с контентом, который меняется умеренно часто (раз в неделю)
• Средние или более крупные сайты (более 10 000 уникальных страниц) с очень быстро меняющимся контентом (ежедневно)
• Сайты, у которых большая часть всех URL-адресов классифицируется Search Console как
  Обнаружена, не проиндексирована

точные пороговые значения.

Общая теория сканирования
Интернет — это почти бесконечное пространство, превышающее способность Google исследовать каждый общедоступный URL-адрес. В результате существуют ограничения на то, сколько времени и ресурсов Google может выделить на сканирование любого отдельного сайта. Распределение этих ресурсов обычно называютбюджетом сканирования сайта. В этом контексте инфраструктура сканирования Google определяет сайт как уникальное имя хоста. Например, https://www.example.com/
и https://code.example.com/ рассматриваются как отдельные сайты и имеют отдельные бюджеты сканирования. Бюджет сканирования сайта определяется двумя основными элементами: лимитом емкости сканирования
и.

и оценена для определения ее пригодности для индекса.

Лимит емкости сканирования Google хочет сканировать ваш сайт, не перегружая ваши серверы. Чтобы предотвратить это, роботы Google рассчитывают лимит емкости сканирования
(также известный какhostload

). Это ограничивает общее время, которое ваш сервер тратит на поддержание открытых соединений для Google, учитывая как количество параллельных соединений, так и их продолжительность. Это гарантирует, что Google сможет охватить весь ваш важный контент, не перегружая ваши серверы.

Каждый сайт начинается с одного и того же стандартного, консервативного лимита емкости сканирования. Если есть потребность сканировать больше и сайт остается работоспособным, системы Google будут автоматически корректировать этот лимит с течением времени.

• Лимит емкости сканирования может повышаться и понижаться в зависимости от нескольких факторов: Здоровье сканирования:Если сайт отвечает стабильно и время его ответа (включая задержку и время до первого байта) остается стабильным или улучшается, лимит повышается, что означает, что для сканирования можно использовать больше соединений. Если сайт замедляется (задержка увеличивается или время ответа становится длиннее) или отвечает ошибками сервера ( 5xx HTTP коды состояния) или сигналами ограничения скорости (такими какHTTP 429
• ), лимит снижается, и Google сканирует меньше. Лимиты сканирования Google:

Хотя ресурсы Google обширны, они конечны, и мы должны приоритизировать распределение ресурсов по всему Интернету.

Потребность в сканировании

У каждого робота есть своя “потребность”, когда дело доходит до сканирования Интернета, определяемая факторами, уникальными для этого робота. Например, AdsBot, как правило, имеет более высокую потребность, когда сайт использует динамические цели объявлений, а Google Shopping имеет более высокую потребность для продуктов, которые у вас есть в ваших торговых фидах. ДляGooglebot

• , потребность варьируется в зависимости от размера сайта, частоты обновления, качества страниц и релевантности по сравнению с другими сайтами. Основные факторы, на которые вы можете повлиять, это: Воспринимаемый инвентарь:
• Без вашего руководства Google пытается просканировать все или большинство URL-адресов, о которых он знает на вашем сайте. Если многие из этих URL-адресов являются дубликатами или вы не хотите, чтобы они сканировались по какой-либо другой причине (удалены, неважны и т. д.), это тратит много времени сканирования Google на вашем сайте. Это фактор, который вы можете контролировать наиболее позитивно. Популярность:
• URL-адреса, которые более популярны в Интернете, как правило, сканируются чаще, чтобы поддерживать их свежесть в наших системах. Устаревание:

Наши системы хотят пересканировать документы достаточно часто, чтобы улавливать любые изменения.

общий для всех роботов. Это означает, что высокая потребность одного робота может уменьшить емкость, доступную для других.

Резюме

Объединяя емкость сканирования и потребность в сканировании, Google определяет бюджет сканирования сайта как набор URL-адресов, которые Google может и хочет просканировать. Даже если лимит емкости сканирования не достигнут, если потребность в сканировании низка, Google будет сканировать ваш сайт меньше.

Передовые методы

• Чтобы максимизировать эффективность сканирования, следуйте этим передовым методам: Управляйте своим инвентарем URL:
  • Используйте соответствующие инструменты, чтобы сообщить Google, какие страницы сканировать, а какие нет. Если Google тратит слишком много времени на сканирование URL-адресов, которые не должен, роботы Google могут не исследовать остальную часть вашего сайта или не увеличить ваш бюджет сканирования..
    Консолидируйте дублирующийся контент
  • Устраните дублирующийся контент, чтобы сосредоточить сканирование на уникальном контенте, а не на уникальных URL-адресах.Блокируйте сканирование URL-адресов с помощью robots.txt
    . Некоторые страницы могут быть важны для пользователей, но вы, возможно, не хотите, чтобы они появлялись на поверхностях Google или повторно обрабатывались системами Google. Примеры включают страницы с бесконечной прокруткой, которые дублируют информацию на связанных страницах, или по-разному отсортированные версии одной и той же страницы. Если вы не можете консолидировать их, как описано в первом пункте, заблокируйте эти неважные страницы с помощьюrobots.txt
  • Возвращайте 404 404 410 или
    410 404 код состояния для навсегда удаленных страниц.
  • Google не забудет URL, о котором он знает, но 410 код состояния — это сильный сигнал не сканировать этот URL снова. Однако заблокированные URL будут оставаться частью вашей очереди сканирования гораздо дольше и будут пересканированы, когда блокировка будет снята..
    Устраните soft 404
    ошибки
    soft 404 страницы будут продолжать сканироваться и тратить ваш бюджет. Проверьте Отчет об индексации страниц
  • на наличие soft 404 ошибок. Поддерживайте свои карты сайта в актуальном состоянии.
  • Google регулярно читает вашу карту сайта, поэтому обязательно включите весь контент, который вы хотите, чтобы Google сканировал. Если ваш сайт содержит обновленный контент, мы рекомендуем включить<lastmod>
• тег..
  Избегайте длинных цепочек перенаправлений
  • , которые негативно влияют на сканирование. Сделайте загрузку ваших страниц эффективной
  • Если Google сможет быстрее загружать и отображать ваши страницы, мы, возможно, сможем прочитать больше контента с вашего сайта. Улучшите скорость загрузки:
    Оптимизируйте время отклика вашего сервера и ресурсы, чтобы страницы загружались быстрее. Используйте HTTP-кэширование:Поддерживайте 304 304 (Не изменено)
• HTTP-коды состояния.
  . Если страница не изменилась с момента последнего сканирования Google, возврат

304

кода говорит Google повторно использовать кэшированную версию, экономя пропускную способность вашего сервера и ресурсы.

• Отлаживайте проблемы с бюджетом сканированияПроверьте, были ли у вашего сайта какие-либо проблемы с доступностью во время сканирования, и ищите способы сделать ваше сканирование более эффективным.
  Как мне получить больше бюджета сканирования?
  Есть два способа увеличить бюджет сканирования:
• Добавьте больше серверных ресурсов: Если ваш сайт не может быть просканирован из-за емкости сервера с вашей стороны (например, вы получаете