Вы исправляете ошибки сканирования, получая доступ к отчету об индексации в Google Search Console, чтобы определить конкретные URL-адреса, которые блокируются или не работают в процессе сканирования. Как только вы найдете затронутые страницы, вам нужно определить, является ли ошибка проблемой на стороне сервера, ограничением robots.txt или битой внутренней ссылкой. Их устранение требует обновления конфигурации вашего сервера или настройки архитектуры вашего сайта, чтобы гарантировать, что Googlebot эффективно достигает вашего контента.
Как найти проблемы сканирования в Search Console
Отчет об индексации содержит сводку всех страниц вашего сайта, которые Google пытался просканировать. Для начала войдите в Search Console и выберите вкладку «Индексация» на левой боковой панели. В этом разделе отображается список статусов страниц, таких как «Не найдено (404)», «Ошибка сервера (5xx)» или «Ошибка перенаправления». Эти категории классифицируют состояние вашего сайта в зависимости от того, как Googlebot взаимодействует с вашим сервером.
Когда вы нажимаете на определенный статус, Search Console предоставляет список отдельных URL-адресов. Для более крупных сайтов этот вид фильтруется, чтобы показать репрезентативные выборки, а не каждый отдельный экземпляр. Вы можете использовать эти выборки для выявления закономерностей, таких как конкретный каталог или определенный тип файла, который постоянно вызывает проблемы у сканера.
- Выберите отчет об индексации в меню, чтобы увидеть обзор состояния.
- Просмотрите список типов ошибок, чтобы различить мягкие 404-е ошибки и реальные ошибки сервера.
- Нажмите на конкретный тип ошибки, чтобы просмотреть выборку затронутых URL-адресов.
- Экспортируйте список в электронную таблицу, если вам нужно поделиться данными со своей командой разработчиков.
- Используйте инструмент проверки URL, чтобы протестировать один живой URL и увидеть, как именно Googlebot видит страницу.
Что означают самые распространенные ошибки сканирования?
Ошибки сканирования часто возникают из-за простых ошибок конфигурации, которые мешают Googlebot получить доступ к вашему контенту. Ошибка 404 указывает на то, что страницы не существует на вашем сервере, что нормально для удаленного контента, но проблематично для живых страниц. Ошибка 5xx предполагает, что ваш сервер с трудом отвечает, часто из-за высокого трафика или обслуживания.
Другие распространенные проблемы включают циклы перенаправления и заблокированные ресурсы. Ошибка перенаправления происходит, когда цепочка перенаправлений превышает лимит браузера или сканера, в то время как заблокированные ресурсы возникают, когда ваш файл robots.txt мешает Googlebot загружать критические файлы CSS или JavaScript. Эти блокировщики могут помешать Google понять макет вашей страницы, что приводит к снижению качества индексации.
Search Console — это инструмент, который позволяет вам видеть, как ваш контент работает в Google Search.
Google Search Central
Как Alien Road применяет это
В Alien Road мы рассматриваем диагностику сканирования как стандартную ежемесячную задачу для каждого взаимодействия с клиентом. Мы начинаем с аудита статуса индексации, чтобы отфильтровать шум, такой как временные перенаправления или намеренные исключения. Например, если на сайте клиента внезапно увеличилось количество ошибок 5xx, мы немедленно исследуем журналы хост-сервера, чтобы проверить наличие тайм-аутов соединения или ограничений ресурсов, которые могут быть вызваны высокой активностью ботов.
Мы также координируем действия с командами разработчиков, чтобы гарантировать, что структурные изменения не вызывают массовых ошибок 404. Когда мы переносим сайт или обновляем структуру URL, мы проверяем, правильно ли настроены перенаправления 301 и очищены ли старые URL из внутренней навигации. Это предотвращает пустую трату бюджета на сканирование и гарантирует, что пользователи сразу находят нужный контент.
Наш внутренний процесс решения
- Выполните полный аудит сканирования, чтобы воспроизвести ошибки, найденные в консоли.
- Проверьте журналы сервера, чтобы определить, не блокируется ли Googlebot брандмауэром безопасности.
- Обновите файл robots.txt, чтобы гарантировать, что важные страницы остаются доступными для сканера.
- Запросите повторную индексацию в Search Console, как только техническое исправление вступит в силу.
- Отслеживайте отчет об индексации в течение 48 часов, чтобы подтвердить, что количество ошибок уменьшается.
Как проверить свои исправления
После того, как вы внедрили исправление, вы должны сообщить Google, что проблема решена. Перейдите к конкретному отчету об ошибке в Search Console и нажмите кнопку «Проверить исправление». Google затем отдаст приоритет повторному сканированию этих конкретных URL-адресов. Этот процесс может занять несколько дней в зависимости от размера вашего сайта и скорости ответа сервера.
Валидация не происходит мгновенно, поэтому необходимо терпение. В течение периода валидации Googlebot будет пытаться снова просканировать затронутые страницы. Если сервер вернет статус 200 OK, ошибка будет удалена из вашего отчета. Если проблема сохраняется, валидация не удастся, и вам нужно будет пересмотреть настройки конфигурации.
Почему вам следует отдавать приоритет исправлению ошибок сканирования?
Игнорирование ошибок сканирования может привести к постепенной потере органического трафика. Когда Googlebot не может получить доступ к вашему контенту, он не может индексировать ваши последние обновления или новые страницы. Это означает, что ваш самый релевантный контент может оставаться скрытым от результатов поиска, независимо от того, насколько высоко его качество или сколько усилий вы вкладываете в продвижение.
Более того, исправление этих ошибок повышает общую эффективность вашего сайта. Более чистая, безошибочная архитектура позволяет Googlebot тратить больше времени на ваши ценные страницы. Сосредоточившись на здоровье сайта, вы гарантируете, что ваш бюджет на сканирование используется эффективно и что ваши самые важные бизнес-цели поддерживаются вашей технической инфраструктурой.
Следующие шаги для владельцев сайтов
Проверяйте свой отчет об индексации на этой неделе, чтобы убедиться, что никакие критические страницы не выпадают из индекса. Если вы обнаружите ошибки, расставьте их по приоритету в зависимости от важности затронутых страниц. Начните с исправления ошибок на ваших целевых страницах с высоким трафиком, прежде чем переходить к меньшим, менее значимым разделам вашего сайта. Это гарантирует, что самые эффективные страницы останутся видимыми и здоровыми в глазах поисковых систем.