Ошибка Soft 404 возникает, когда веб-сервер возвращает код состояния HTTP 200 OK для страницы, которая больше не существует или отображает контент, указывающий на отсутствие ресурса. В отличие от стандартной ошибки 404, которая сообщает поисковым системам, что страница удалена, Soft 404 сбивает с толку краулер, предполагая, что страница активна. Исправление этих ошибок требует проверки ответа сервера, чтобы убедиться, что сервер отправляет код 404 или 410 для отсутствующего контента.
Что вызывает ошибки Soft 404 во время сканирования сайта?
Эти ошибки часто возникают из-за неправильной конфигурации сервера или настроек CMS. Когда разработчик создает пользовательскую страницу ошибки, но не устанавливает правильный заголовок HTTP, сервер обрабатывает запрос как успешный. Следовательно, поисковый робот воспринимает контент как действительную, индексируемую страницу, несмотря на то, что пользователь видит сообщение об ошибке.
Например, многие платформы электронной коммерции обрабатывают снятые с производства товары, перенаправляя их на страницу категории. Если эта цепочка перенаправлений не обрабатывается со статусом 301 или 302, или если страница просто отображает сообщение ‘товар недоступен’, сохраняя заголовок 200 OK, поисковая система считает эту страницу действительным пунктом назначения. Это вводит бота в заблуждение, заставляя его думать, что страницу стоит индексировать, что истощает ваш бюджет сканирования.
- Пользовательские страницы ошибок, в которых отсутствует правильный заголовок HTTP 404.
- Перенаправления на стороне сервера, которые возвращаются на общую целевую страницу вместо возврата кода ошибки.
- Пустые страницы категорий или результатов поиска, которые отображают ‘результатов нет’ при возврате статуса 200 OK.
- Скрипты генерации динамического контента, которые не проверяют наличие записей в базе данных перед рендерингом.
Как выполнить ручную проверку ответа сервера
Вы можете проверить статус HTTP любой страницы с помощью инструментов разработчика браузера или утилит командной строки. Откройте вкладку Сеть в консоли браузера, перезагрузите страницу и изучите столбец статуса для основного запроса документа. Если статус 200, несмотря на то, что страница показывает уведомление об отсутствии контента, вы идентифицировали Soft 404.
При анализе страницы убедитесь, что проверяемый запрос является основным документом, а не изображением или файлом скрипта. Щелкните правой кнопкой мыши по запросу, выберите ‘Копировать как cURL’ и изучите заголовки ответа. Если ваш браузер отображает тело документа, но ‘Код состояния’ остается 200, страница настроена неправильно.
Использование команд терминала для массовой проверки
Для крупных сайтов ручная проверка неэффективна. Использование таких инструментов, как cURL, позволяет проверять заголовки для нескольких URL одновременно. Простая команда, такая как ‘curl -I [URL]’, выводит информацию заголовка, позволяя подтвердить, правильно ли сервер сообщает статус 404 Not Found или 410 Gone.
Как Alien Road применяет это в проектах клиентов
В Alien Road мы интегрируем проверки ответа сервера в наши регулярные аудиты состояния сайта. Мы отдаем приоритет выявлению этих ошибок, чтобы предотвратить пустую трату бюджета сканирования. При анализе сайта клиента мы ищем закономерности в журналах сервера, которые коррелируют с большими объемами ответов 200 OK на страницах, которые должны быть мертвыми. Затем наша команда работает с отделом разработки клиента над обновлением логики на стороне сервера, гарантируя, что отсутствующие ресурсы последовательно возвращают соответствующий код ошибки.
Мы часто обнаруживаем, что на крупных веб-сайтах есть тысячи устаревших страниц, которые были удалены, но все еще существуют в базе данных с ответом 200. В типичном проекте мы составляем карту этих URL и тестируем ответ сервера для каждого из них. Затем мы предоставляем технический бриф команде инженеров для изменения файлов шаблонов, чтобы они вызывали правильный заголовок ошибки. Это гарантирует, что поисковый бот перестанет пытаться анализировать контент, который больше не приносит пользы пользователю.
Мы часто видим веб-сайты, где пустые страницы результатов поиска индексируются по ошибке. Исправление их путем принудительной установки заголовка 404 — это простое изменение, которое очищает индекс и улучшает качество сканирования.
Команда SEO Alien Road
Почему нужно немедленно исправлять Soft 404?
Оставление этих ошибок без внимания заставляет краулер тратить ресурсы на страницы, которые не приносят пользы пользователям. Это может привести к ситуации, когда свежий, высококачественный контент игнорируется, потому что робот занят повторной проверкой мертвых страниц. Приоритизация этого исправления сохраняет структуру вашего сайта чистой и эффективной.
У поисковых роботов ограниченное время для вашего домена. Каждая секунда, потраченная на сканирование пустой страницы результатов поиска, — это секунда, отнятая у ваших страниц продуктов или блогов. Очищая эти коды состояния, вы напрямую поддерживаете способность робота сосредоточиться на страницах, которые действительно приносят трафик и вовлеченность.
- Проведите аудит журналов сайта, чтобы найти страницы с отсутствующим контентом, возвращающие 200 OK.
- Реализуйте явные заголовки 404 или 410 в конфигурации вашего сервера для удаленных страниц.
- Убедитесь, что ваша CMS не перенаправляет отсутствующие элементы на главную страницу.
- Проверьте исправления с помощью сетевых инструментов браузера или утилит CLI.
Как проверять ответы сервера в масштабе
Масштабирование ваших проверок требует автоматизации. Помимо тестирования отдельных URL, вам следует использовать инструменты анализа журналов, чтобы увидеть, какие страницы поисковый робот посещает в настоящее время чаще всего. Если вы заметите высокую частоту посещений страниц, которые, как вы знаете, пусты или недействительны, они станут вашим главным приоритетом для исправления.
Вам также следует проверить отчеты ‘Исключено’ в ваших инструментах Search Console, чтобы увидеть, идентифицировала ли поисковая система эти страницы. Если вы обнаружите большое количество страниц, помеченных как ‘Soft 404’, это явный сигнал того, что логика вашего сервера не соответствует статусу вашего контента. Как только вы их идентифицируете, проверьте ответ сервера и обновите конфигурацию.
Мониторинг ответа сервера — это не только ошибки; это обеспечение того, чтобы поисковая система понимала архитектуру вашего сайта. Каждый запрос, который возвращает неправильный код состояния, — это упущенная возможность для вашего сайта занять более высокую позицию.
Команда SEO Alien Road
Следующие шаги для аудита вашего сайта
Начните на этой неделе с экспорта списка ваших наиболее часто посещаемых страниц, которые больше не содержат активного контента. Выполните проверку заголовка для этих URL, чтобы увидеть, возвращают ли они статус 200 OK. Как только вы определите нарушителей, скоординируйтесь с вашей технической командой, чтобы применить правильные коды ошибок HTTP. Отслеживание этих изменений в течение следующих нескольких недель поможет вам наблюдать улучшения в том, как краулер взаимодействует с вашим доменом.