Диагностика ошибок сканирования

Не каждая ошибка сканирования является проблемой. Ошибка 404 для страницы, которую вы намеренно удалили, — это правильное поведение. Главное умение — отличать намеренное от случайного.

Ошибки, требующие действий

• Ошибка сервера (5xx), страница существует, но сервер дал сбой. Постоянные ошибки 5xx приводят к удалению из индекса.
• Ошибка перенаправления, слишком длинные цепочки, циклы или перенаправления на 404.
• Заблокировано файлом robots.txt на странице, которую вы хотите проиндексировать.
• Мягкая 404 (Soft 404), сообщение «не найдено», возвращаемое со статусом 200.
• Отправленный URL-адрес отмечен как noindex, файл Sitemap и страница противоречат друг другу.

Статусы, которые обычно в норме

Статус «Просканировано, но пока не проиндексировано» часто означает, что Google прочитал страницу и посчитал ее не заслуживающей сохранения; это вопрос контента, а не технический. Статус «Обнаружено, но пока не проиндексировано» обычно означает приоритет сканирования, что часто встречается на крупных новых сайтах. Статус «Альтернативная страница с правильным каноническим тегом» означает, что система работает правильно.

Alien Road рекомендует: всегда в первую очередь исправляйте ошибки 5xx и перенаправления. Они однозначны и усугубляют друг друга: цепочка перенаправлений замедляет каждое сканирование этого пути, а ошибка сервера может незаметно удалить страницу, которая годами занимала хорошие позиции.