На этой странице описывается, как различные коды состояния HTTP, влияют на способность Google сканировать ваш веб-контент. Мы рассматриваем 20 основных кодов состояния, с которыми Google сталкивается в Интернете. Более экзотические коды состояния, такие как 418 (I'm a teapot), не рассматриваются.
Коды состояния HTTP
Коды состояния HTTP генерируются сервером, на котором размещен сайт, когда он отвечает на запрос, сделанный клиентом, например, браузером или краулером. Каждый код состояния HTTP имеет разное значение, но часто результат запроса один и тот же. Например, существует несколько кодов состояния, которые сигнализируют о перенаправлении, но их результат одинаков.
Search Console генерирует сообщения об ошибках для кодов состояния в 4xx—5xx диапазоне, а также для неудачных перенаправлений (3xx). Если сервер ответил кодом состояния 2xx , контент, полученный в ответе, может быть рассмотрен для индексации.
В следующей таблице приведены наиболее часто встречающиеся Google коды состояния HTTP и объяснение того, как Google обрабатывает каждый из них.
Коды состояния HTTP
2xx (успех)
Google рассматривает контент для обработки (например, в случае Поиска Google — для индексации). Если контент предполагает ошибку для Поиска Google, пустую страницу или сообщение об ошибке, Search Console покажет ошибку soft 404 ошибку.
200 (успех)
Google передает все, что получил, на следующий этап обработки (который зависит от продукта). Для Поиска Google следующей системой является конвейер индексации. Системы индексации могут проиндексировать контент, но это не гарантируется.
201 (создано)
202 (принято)
Google ожидает контент в течение ограниченного времени, а затем передает все, что получил, на следующий этап обработки (который зависит от продукта). Время ожидания зависит от агента пользователя, например, у Googlebot Smartphone время ожидания может отличаться от Googlebot Image.
204 (нет контента)
Google не смог получить какой-либо контент и поэтому не может его обработать.
3xx (перенаправление)
По умолчанию краулеры Google следуют до 10 переходов перенаправления. Однако краулеры конкретных продуктов могут иметь другие ограничения. Например, Googlebot обычно следует 10 переходам перенаправления при сканировании общего веб-контента, но инструменты проверки Google не следуют перенаправлениям.
Google следует перенаправлению, и системы Google используют перенаправление как сильный сигнал о том, что цель перенаправления должна быть обработана.
302 (найдено)
По умолчанию краулеры Google следуют перенаправлению, и системы Google используют перенаправление как слабый сигнал о том, что цель перенаправления должна быть обработана. Другие продукты могут обрабатывать перенаправление иначе.
303 (смотрите другое)
304 (не изменено)
Краулеры Google сигнализируют следующей системе обработки, что контент такой же, как при последнем сканировании. В случае Поиска Google конвейер индексации может пересчитать сигналы для URL, но в остальном код состояния не влияет на индексацию.
307 (временное перенаправление)
Эквивалентно 302.
308 (перемещено навсегда)
Эквивалентно 301.
4xx (ошибки клиента)
Google не использует контент с URL-адресов, которые возвращают коды состояния 4xx . Если URL ранее использовался, но теперь возвращает код состояния 4xx , системы Google со временем перестанут использовать этот URL. В случае Поиска Google, Google не индексирует URL-адреса, которые возвращают код состояния 4xx , а URL-адреса, которые уже проиндексированы и возвращают код состояния 4xx , удаляются из индекса.
Любой контент, который Google получает с URL-адресов, возвращающих код состояния 4xx , игнорируется.
400 (неверный запрос)
Все ошибки 4xx , за исключением 429, обрабатываются одинаково: краулеры Google сообщают следующей системе обработки, что контент не существует.
В случае Поиска Google конвейер индексации удаляет URL из индекса, если он был проиндексирован ранее. Вновь обнаруженные 404 страницы не обрабатываются. Частота сканирования постепенно снижается.
401 (не авторизован)
403 (запрещено)
404 (не найдено)
410 (удалено)
411 (требуется длина)
429 (слишком много запросов)
Роботы Google воспринимают 429 код состояния как сигнал о перегрузке сервера, и это считается ошибкой сервера.
5xx (ошибки сервера)
5xx и 429 ошибки сервера побуждают роботов Google временно замедлить сканирование. Для Google Поиска уже проиндексированные URL сохраняются в индексе, но со временем удаляются.
2xx кодом состояния, Google постепенно увеличивает скорость сканирования сайта. 500 (внутренняя ошибка сервера)
Google снижает скорость сканирования сайта. Снижение скорости сканирования пропорционально количеству отдельных URL, возвращающих ошибку сервера. Для Google Поиска конвейер индексирования Google удаляет из индекса URL, которые постоянно возвращают ошибку сервера.
502 (плохой шлюз)
503 (сервис недоступен)
Как коды состояния HTTP влияют на роботов Google | Alien Road
Alien Road
Как мы это применяем
Status codes are instructions to Google, and clients use them loosely. A soft 404, a 302 that should be a 301 and a 503 left in place too long each produce a different and predictable indexing outcome.
