Не используйте ошибки 403 или 404 для ограничения скорости запросов

Пятница, 17 февраля 2023 г.

За последние несколько месяцев мы заметили рост числа владельцев веб-сайтов и некоторых сетей доставки контента (CDN), пытающихся использовать 404 и другие 4xx клиентские ошибки (но не
429), чтобы попытаться снизить частоту сканирования Googlebot.

Краткая версия этой статьи в блоге: пожалуйста, не делайте этого; у нас есть документация о том,
как снизить частоту сканирования Googlebot. Прочтите ее вместо этого и узнайте, как эффективно управлять частотой сканирования Googlebot.

Вернемся к основам: 4xx ошибки предназначены для клиентских ошибок

The 4xx ошибки, которые серверы возвращают клиентам, являются сигналом от сервера о том, что запрос клиента был в каком-то смысле неверным. Большинство ошибок в этой категории довольно безобидны: ошибки «не найдено», «запрещено», «я чайник» (да, такое бывает). Они не говорят ни о чем плохом, происходящем с самим сервером.

Единственным исключением является 429, что означает «слишком много запросов». Эта ошибка является четким сигналом для любого послушного робота, включая нашего любимого Googlebot, о том, что ему нужно замедлиться, потому что он перегружает сервер.

Почему 4xx ошибки плохи для ограничения скорости Googlebot (кроме 429)

Клиентские ошибки — это именно то: клиентские ошибки. Они, как правило, не указывают на ошибку на сервере: не на то, что он перегружен, не на то, что он столкнулся с критической ошибкой и не может ответить на запрос. Они просто означают, что запрос клиента был в каком-то отношении плохим. Нет никакого разумного способа приравнять, например, 404 ошибку к перегрузке сервера.
Представьте себе, если бы это было так: вы получаете наплыв 404 ошибок из-за того, что ваш друг случайно дал ссылку не на те страницы на вашем сайте, и в результате Googlebot замедляет сканирование. Это было бы довольно плохо. То же самое касается и 403, 410, 418.

И снова главным исключением является 429 код состояния, который переводится как «слишком много запросов».

Что делает ограничение скорости с помощью 4xx с Googlebot

Все 4xx Коды состояния HTTP (опять же, кроме 429) приведут к удалению вашего контента из Поиска Google. Хуже того, если вы также отдаете свой файл robots.txt с кодом состояния
4xx HTTP, он будет восприниматься так, как будто его не существует. Если у вас там было правило, запрещающее сканирование вашего грязного белья, теперь Googlebot тоже знает об этом; не здорово ни для одной из вовлеченных сторон.

Как правильно снизить частоту сканирования Googlebot

У нас есть обширная документация о том,
как снизить частоту сканирования Googlebot
а также о том,
как Googlebot (и индексирование Поиска) обрабатывает различные коды состояния HTTP; обязательно ознакомьтесь с ними. Короче говоря, вы хотите сделать одно из двух:

• Используйте Search Console, чтобы временно снизить частоту сканирования.
• Вернуть 500, 503, или 429 Код состояния HTTP для Googlebot, когда он сканирует слишком быстро.

Если вам нужны дополнительные советы или разъяснения, найдите нас в
Twitter или опубликуйте сообщение в
наших форумах помощи.

Опубликовано Gary Illyes