Ошибки soft 404 возникают, когда веб-сервер возвращает код состояния 200 OK для страницы, которую Google идентифицирует как несуществующую, пустую или страницу ошибки. Это несоответствие сбивает с толку поисковых роботов, поскольку технический заголовок указывает на то, что контент доступен, в то время как визуальный контент говорит об обратном. Чтобы поддерживать высокую видимость в поиске и качество индексации, вы должны убедиться, что ваш сервер возвращает настоящий код 404 или 410 для удаленного контента.
Что такое ошибка soft 404?
Soft 404 — это не официальный код состояния HTTP, а метка, которую Google присваивает определенным URL-адресам в процессе сканирования. В типичном сценарии, когда пользователь посещает страницу, которой не существует, сервер должен отправить код состояния 404 (Не найдено) или 410 (Удалено). Эти коды сообщают Googlebot, что страница намеренно отсутствует и должна быть удалена из поискового индекса.
Однако некоторые серверы настроены на отправку кода 200 OK, даже если страница пуста или отображает сообщение ‘Страница не найдена’. Когда Google сталкивается с этим, он видит страницу, которая претендует на то, чтобы быть действительной, но не предлагает никакой ценности для пользователей. Это приводит к тому, что страница помечается как soft 404. По сути, это означает, что технический сигнал и реальность контента находятся в конфликте.
Почему Google помечает страницы с 200 OK как soft 404?
Google стремится обеспечить наилучший пользовательский опыт, исключая низкокачественные или несуществующие страницы из результатов поиска. Если поисковая система индексирует страницу, на которой написано ‘Извините, этот товар больше не доступен’, но имеет статус 200 OK, пользователи, которые нажмут на этот результат, будут разочарованы. Google отслеживает визуальные элементы, объем текста и общую структуру страницы, чтобы определить, является ли она ‘настоящей’ страницей или заглушкой.
Другая причина связана с эффективностью краулингового бюджета. У поисковых систем ограничены ресурсы для сканирования веб-сайта. Если на сайте тысячи ошибок soft 404, Googlebot тратит время на обработку ‘мертвых’ страниц вместо того, чтобы находить новый, ценный контент. Помечая их как soft 404, Google сигнализирует владельцу сайта, что техническую конфигурацию необходимо исправить, чтобы избежать проблем с ранжированием.
Как исправить ошибки soft 404 в Google Search Console?
Основным инструментом для выявления этих проблем является Google Search Console. Вам следует перейти в раздел Индексирование и нажать на отчет Страницы. Здесь вы найдете список причин, по которым страницы не индексируются. Если на вашем сайте есть эти проблемы, вы увидите категорию ‘Soft 404’. Нажатие на эту категорию открывает конкретные URL-адреса, которые Google пометил.
- Проверьте URL с помощью инструмента проверки Search Console, чтобы увидеть, как Googlebot отображает страницу.
- Проверьте, действительно ли страница отсутствует или на ней просто очень мало контента.
- Проверьте код состояния HTTP с помощью инструмента проверки заголовков или функции ‘Проверка URL’ в Search Console.
- Определите, следует ли восстановить страницу, перенаправить ее или удалить навсегда.
- Обновите конфигурацию вашего сервера или настройки CMS, чтобы возвращать правильный код состояния.
Анализ проблем с некачественным контентом
Иногда страница помечается как soft 404 просто потому, что на ней недостаточно уникального текста. Например, страница категории в блоге на WordPress, где указана только одна короткая запись, может спровоцировать это. В этом случае решение состоит не в том, чтобы удалить страницу, а в том, чтобы добавить больше полезного контента. Если страница является действительной частью структуры вашего сайта, убедитесь, что на ней есть описательный текст, изображения и внутренние ссылки.
Распространенные причины ошибок soft 404 на сайтах электронной коммерции
Платформы электронной коммерции, такие как Shopify или Magento, часто сталкиваются с ошибками soft 404 из-за изменений в инвентаре. Распространенный шаблон — когда товар заканчивается на складе, и платформа отображает пустую страницу товара. Если сервер все еще возвращает код 200 OK, Google, скорее всего, пометит ее. Похожая проблема возникает со страницами внутренних результатов поиска, которые не возвращают товары, но все равно отображают заголовок и подвал сайта.
Еще одна частая причина — использование автоматических перенаправлений. Некоторые владельцы сайтов настраивают скрипты, которые автоматически перенаправляют любой битый URL на главную страницу. Google прямо заявляет, что перенаправление нерелевантных URL на главную страницу — это шаблон soft 404. Это происходит потому, что главная страница не является прямой заменой конкретного товара или статьи, и это сбивает с толку пользователей, которые ожидали другой контент.
Почему перенаправление на главную страницу — плохая стратегия
Перенаправление всех битых ссылок на вашу главную страницу может показаться способом сохранения ссылочного веса, но это часто дает обратный эффект. Когда Google видит 301 редирект на страницу, которая не связана с исходным контентом, он рассматривает это перенаправление как soft 404. Это означает, что ‘сила ранжирования’ старого URL все равно не передается на главную страницу.
Вместо общего перенаправления вам следует стремиться к релевантности. Если конкретные синие кроссовки больше не продаются, перенаправьте этот URL на общую категорию ‘кроссовки’. Если нет релевантной замены, лучше позволить странице возвращать 404. Это говорит Google прекратить попытки индексировать этот конкретный URL, что со временем очищает поисковый след вашего сайта.
Как выбрать между кодами состояния 404 и 410?
Когда контент исчез и не вернется, вам следует использовать коды состояния 404 или 410. Хотя оба сообщают Google, что страница отсутствует, они имеют немного разный вес с точки зрения скорости удаления из индекса. В типичном аккаунте использование любого из них лучше, чем soft 404, но выбор правильного может помочь в более быстрой очистке сайта.
- Используйте 404 (Не найдено) для страниц, которые могут вернуться в будущем, или если вы не уверены.
- Используйте 410 (Удалено) для контента, который был удален навсегда, например, закрытая услуга или старая промо-страница.
- Убедитесь, что ваша пользовательская страница 404 предоставляет полезные навигационные ссылки, чтобы удерживать пользователей на вашем сайте.
- Проверьте ваши файлы конфигурации .htaccess или Nginx, чтобы установить эти коды на уровне сервера.
- Следите за отчетом ‘Статистика сканирования’ в Search Console, чтобы увидеть, как быстро Google распознает изменения.
Исправление ошибок soft 404, вызванных техническими сбоями
Технические ошибки в шаблоне вашего сайта также могут вызвать эти метки. Например, если ошибка PHP препятствует загрузке основного контента, но заголовок и подвал все еще отображаются, сервер может все еще отправлять код 200 OK. Googlebot видит страницу без основного текста и предполагает, что это страница ошибки. Регулярная проверка журналов вашего сервера на наличие ошибок 5xx может помочь выявить первопричину этих невидимых сбоев контента.
Для сайтов, использующих JavaScript-фреймворки, такие как React или Angular, убедитесь, что серверный рендеринг (SSR) настроен правильно. Если начальный HTML, отправленный в Google, пуст, потому что JavaScript еще не выполнился, Google может ошибочно интерпретировать страницу как soft 404. Тестирование ваших URL с помощью представления ‘Отрендеренный HTML’ в Search Console покажет именно то, что видит Googlebot во время сканирования.
С чего начать на этой неделе
Начните с открытия Google Search Console и перехода к отчету ‘Страницы’ в разделе Индексирование. Найдите статус ‘Soft 404’ в таблице. Если вы найдете там перечисленные URL, выберите пять лучших с наибольшим количеством показов и проверьте их индивидуально. Определите, действительно ли они отсутствуют или на них просто мало контента.
Если страницы отсутствуют, обновите настройки вашего сервера, чтобы возвращать код 404 вместо перенаправления на главную страницу. Если страницы действительны, но некачественны, добавьте не менее 200-300 слов релевантного контента и несколько изображений, чтобы сигнализировать Google, что страница представляет ценность. После того, как вы применили исправления, используйте кнопку ‘Проверить исправление’ в Search Console, чтобы уведомить Google, что URL готовы к повторному сканированию. В Alien Road мы часто видим, что очистка этих ошибок приводит к более эффективному сканированию и лучшей общей индексации для оставшихся высококачественных страниц.
Читайте далее: SEO (Поисковая оптимизация) · SEO