Справочник HTTP статусов кодов

Яндекс публикует не только то, что означает каждый код статуса, но и когда его использовать, и некоторые из этих рекомендаций отличаются от общепринятой практики. Это справочник, который следует проверить перед выбором типа редиректа.

Редиректы

• 301 Moved Permanently. Робот не индексирует документ, выполняющий редирект, но индексирует целевую страницу. Яндекс добавляет инструкцию, которая редко упоминается в других источниках: держите редирект активным не менее полугода , чтобы поисковые системы обработали его корректно. Миграции, при которых старый хост отключается через месяц, сводят передачу на нет.
• 302 Found. Только временно — A/B тесты и обслуживание. Если это навсегда, используйте 301.
• 303 See Other. Для перенаправления пользователя после отправки формы. Страница должна возвращать 200 чтобы появиться в результатах.
• 304 Not Modified. Яндекс активно рекомендует его для ресурсов, которые редко обновляются, часто запрашиваются и вносят значительный вклад в трафик — изображения, CSS, JavaScript. Это ускоряет индексацию и снижает трафик.
• 305 Use Proxy. Устарело по соображениям безопасности; не используйте.
• 307 и 308. Эквиваленты 302 и 301, сохраняющие метод запроса, тело и исходные заголовки.
• 300 Multiple Choices. Робот не может определить, к какому ресурсу относится URL; исправьте заголовки.

Клиентские ошибки, которые стоит внимательно прочитать

• 403 Forbidden. Доступ запрещен — чтобы страница индексировалась, разрешите доступ. Именно здесь проявляется излишне агрессивная фильтрация ботов.
• 404 Not Found. Рекомендации Яндекса спокойны: если вы удалили раздел, заблокируйте его в robots.txt; если страница никогда не существовала, игнорируйте ошибку — кто-то неправильно сослался на ваш сайт. Отчет 404 не является автоматически списком задач.
• 405 Неверный метод — настройте сервер для поддержки необходимых методов; проверьте настройки CORS.
• 406 Неприемлемо — документ существует, но язык или кодировка не поддерживаются роботом.
• 401 и 402 — требуется аутентификация, а также ошибка конфигурации сервера или платежа соответственно.
• 400 Bad Request — некорректный запрос; заголовки и параметры должны соответствовать спецификации HTTP.

Практический вывод

Большинство сайтов используют 301 и 302 для всего и никогда не реализуют 304. Это тот пробел, который стоит закрыть на крупном сайте: условные ответы на статических ресурсах — один из немногих рычагов эффективности краулинга, которые Яндекс рекомендует явно.