Устранение ошибок сканирования Поиска Google

Вот основные шаги по устранению и исправлению проблем сканирования Поиска Google для вашего сайта:

1. Проверьте, сталкивается ли Googlebot с проблемами доступности на вашем сайте.
2. Проверьте, есть ли у вас страницы, которые не сканируются, но должны сканироваться.
3. Проверьте, нуждаются ли какие-либо части вашего сайта в более быстром сканировании, чем сейчас.
4. Повысьте эффективность сканирования вашего сайта.
5. Управляйте чрезмерным сканированием вашего сайта.

Проверьте, сталкивается ли Googlebot с проблемами доступности на вашем сайте

Повышение доступности вашего сайта не обязательно увеличит ваш бюджет сканирования; Google определяет наилучшую частоту сканирования на основе спроса на сканирование, как описано ранее. Тем не менее, проблемы с доступностью мешают Google сканировать ваш сайт так часто, как ему хотелось бы.

Диагностика:

Используйте отчет о статистике сканирования
, чтобы просмотреть историю сканирования Googlebot для вашего сайта. В отчете показано, когда Google сталкивался с проблемами доступности на вашем сайте. Если для вашего сайта сообщается об ошибках или предупреждениях доступности, найдите в графиках доступности хоста случаи, когда запросы Googlebot превышали красную линию лимита, нажмите на график, чтобы посмотреть, какие URL-адреса завершились сбоем, и попытайтесь соотнести их с проблемами на вашем сайте.

Кроме того, вы также можете использовать
инструмент проверки URL
, чтобы протестировать несколько URL-адресов на вашем сайте. Если инструмент возвращает предупреждения
превышена нагрузка на хост
, это означает, что Googlebot не может просканировать столько URL-адресов с вашего сайта, сколько он обнаружил.

Устранение:

• Прочтите документацию по отчету о статистике сканирования , чтобы узнать, как находить и обрабатывать некоторые проблемы с доступностью.
• Заблокируйте сканирование страниц, если вы не хотите, чтобы они сканировались. (См. управление инвентарем)
• Увеличьте скорость загрузки и отрисовки страниц. (См. Повышение эффективности сканирования вашего сайта)
• Увеличьте емкость вашего сервера. Если кажется, что Google постоянно сканирует ваш сайт на пределе емкости обслуживания, но у вас все еще есть важные URL-адреса, которые не сканируются или не обновляются так часто, как это необходимо, наличие дополнительных ресурсов обслуживания может позволить Google запрашивать больше страниц на вашем сайте. Проверьте историю доступности хоста в
  отчете о статистике сканирования , чтобы узнать, часто ли частота сканирования Google пересекает линию лимита. Если это так, увеличьте ресурсы обслуживания на месяц и посмотрите, увеличились ли запросы на сканирование за тот же период.

Проверьте, не сканируются ли какие-либо части вашего сайта, но должны сканироваться

Google тратит столько времени, сколько необходимо на вашем сайте, чтобы проиндексировать весь качественный и полезный для пользователей контент, который он может найти. Если вы считаете, что Googlebot пропускает важный контент, значит, он либо не знает о контенте, контент заблокирован от Google, либо доступность вашего сайта ограничивает доступ Google (или Google старается не перегружать ваш сайт).

Диагностика:

Search Console не предоставляет историю сканирования для вашего сайта, которую можно было бы отфильтровать по URL или пути, но вы можете просмотреть логи вашего сайта, чтобы узнать, были ли определенные URL-адреса просканированы
Googlebot. Были ли эти просканированные URL-адреса проиндексированы — это уже другая история.

Помните, что для большинства сайтов для замечания новых страниц требуется минимум несколько дней; большинство сайтов не должны ожидать сканирования URL в тот же день, за исключением сайтов, чувствительных ко времени, таких как новостные сайты.

Устранение:

Если вы добавляете страницы на свой сайт, и они не сканируются в разумные сроки, значит, Google либо не знает о них, контент заблокирован, ваш сайт достиг максимальной емкости обслуживания, либо у вас исчерпан бюджет сканирования.

1. Сообщите Google о ваших новых страницах: обновите файлы sitemap, чтобы отразить новые URL-адреса.
2. Изучите свои правила robots.txt, чтобы убедиться, что вы случайно не блокируете страницы.
3. Пересмотрите свои приоритеты сканирования (т. е. используйте свой бюджет сканирования с умом). Управляйте своим инвентарем и.
4. повышайте эффективность сканирования вашего сайтаУбедитесь, что у вас не заканчивается емкость обслуживания

.
Googlebot снизит интенсивность сканирования, если обнаружит, что у ваших серверов возникают проблемы с ответом на запросы сканирования.

Обратите внимание, что страницы могут не отображаться в результатах поиска, даже если они были просканированы, если для контента недостаточно ценности или пользовательского спроса.

Проверьте, достаточно ли быстро сканируются обновления

Если на вашем сайте отсутствуют новые или обновленные страницы, возможно, это потому, что мы их не видели или не заметили, что они были обновлены. Вот как вы можете помочь нам узнать об обновлениях страниц.

Обратите внимание, что Google стремится проверять и индексировать страницы в разумные сроки. Для большинства сайтов это три дня или более. Не ожидайте, что Google проиндексирует страницы в тот же день, когда вы их публикуете, если вы не новостной сайт или не имеете другого ценного, чрезвычайно чувствительного ко времени контента.

Диагностика: Изучите логи вашего сайта, чтобы узнать, когда определенные URL-адреса были просканированы.

Googlebot

. Чтобы узнать дату индексации, воспользуйтесь инструментом проверки URL или выполните поиск по обновленным URL-адресам.

Устранение:

• Сделайте: Используйте карту сайта новостей
• если на вашем сайте есть новостной контент. Используйте тег <lastmod>
• в файлах sitemap, чтобы указать, когда проиндексированный URL-адрес был обновлен. Используйте структуру URL, доступную для сканирования
• , чтобы помочь Google найти ваши страницы. Предоставьте стандартные, доступные для краулинга <a> ссылки
  чтобы помочь Google найти ваши страницы.
• Если ваш сайт использует разные HTML-версии для мобильных устройств и ПК, предоставьте на мобильной версии тот же набор ссылок,
  что и на версии для ПК. Если предоставить тот же набор ссылок на мобильной версии невозможно,
  убедитесь, что они включены в файл
  sitemap .
  Google
  индексирует только мобильную версию страниц, и ограничение числа ссылок на ней может замедлить обнаружение новых страниц.

Избегайте:

• Отправки одного и того же неизмененного файла sitemap несколько раз в день.
• Ожидания того, что Googlebot прокраулит все содержимое sitemap или сделает это немедленно.
  Файлы sitemap — это полезные рекомендации для Googlebot, а не жесткие требования.
• Включения в sitemap URL-адресов, которые вы не хотите видеть в Поиске.
  Это может привести к растрате краулингового бюджета на страницы, которые вы не планируете индексировать.

Повысьте эффективность краулинга вашего сайта

Увеличьте скорость загрузки страниц

Краулинг Google ограничен пропускной способностью, временем и доступностью ресурсов Googlebot.
Если ваш сервер отвечает на запросы быстрее, мы сможем прокраулить больше страниц на вашем
сайте. Тем не менее, Google стремится краулить только качественный контент, поэтому простое ускорение страниц низкого
качества не побудит Googlebot краулить сайт активнее; и наоборот, если мы
почтем, что на вашем сайте не хватает качественного контента, мы, вероятно, увеличим ваш
бюджет на краулинг такого контента.

Вот как можно оптимизировать страницы и ресурсы для краулинга:

• Запретите Googlebot загружать крупные, но неважные ресурсы с помощью файла robots.txt.
  Обязательно блокируйте только второстепенные ресурсы — то есть те, которые не важны для
  понимания смысла страницы (например, декоративные изображения).
• Убедитесь, что ваши страницы загружаются быстро.
• Остерегайтесь длинных цепочек перенаправлений, которые негативно влияют на краулинг.
• Важное значение имеют как время ответа на запросы сервера, так и время, необходимое для рендеринга страниц,
  включая время загрузки и выполнения встроенных ресурсов, таких как изображения и скрипты.
  Учитывайте наличие крупных или медленных ресурсов, необходимых для индексации.

Указывайте изменения контента с помощью HTTP-статусов

Google в целом поддерживает заголовки HTTP-запросов
If-Modified-Since и If-None-Match
для краулинга. Краулеры Google отправляют заголовки не при каждой попытке сканирования; это зависит от
целей запроса (например,
AdsBot с большей вероятностью установит заголовки HTTP-запросов If-Modified-Since и If-None-Match ). Если наши краулеры отправляют заголовок If-Modified-Since , то значением заголовка является
дата и время
последнего краулинга контента. На основе этого значения сервер может вернуть
HTTP-статус
304 (Not Modified) без тела ответа. В этом случае Google
использует ту версию контента, которую он прокраулил в прошлый раз. Если контент новее даты,
указанной краулером в заголовке If-Modified-Since , сервер может вернуть
HTTP-статус
200 (OK) с телом ответа.

Независимо от заголовков запроса, вы можете отправить
HTTP-статус 304 (Not Modified) и отсутствие тела ответа для любого запроса Googlebot, если содержимое не изменилось с момента
последнего посещения этого URL роботом Googlebot. Это сэкономит время обработки и ресурсы вашего сервера,
что может косвенно повысить эффективность краулинга.

Скрывайте URL-адреса, которые вы не хотите видеть в результатах поиска

Трата серверных ресурсов на ненужные страницы может снизить частоту краулинга действительно важных для
вас страниц, что может существенно задерживать обнаружение отличного нового или обновленного контента на сайте.

Публикация на сайте большого количества URL-адресов, которые вы не хотите видеть в Поиске, может негативно повлиять на
крауling и индексирование сайта. Обычно такие URL-адреса относятся к следующим категориям:

• Фасетная навигация
  и идентификаторы сеансов:
  Фасетная навигация обычно представляет собой дублирующий контент сайта; идентификаторы сеансов и
  другие параметры URL, которые просто сортируют или фильтруют страницу, не предоставляют нового контента. Узнайте, как
  управлять краулингом страниц фасетной навигации.
• Дублирующий контент:
  Помогите Google выявлять дублирующий контент во избежание лишнего краулинга.
• soft 404 страницы: Возвращайте 404
  код, когда страница больше не существует.
• Взломанные страницы: Обязательно проверьте
  отчет о проблемах безопасности и исправьте или удалите все обнаруженные взломанные страницы.
• Бесконечные пространства и прокси:
  Заблокируйте их для краулинга с помощью robots.txt.
• Низкокачественный и спам-контент:
  Его, очевидно, стоит избегать.
• Страницы корзины покупок, страницы с бесконечной прокруткой и страницы, выполняющие определенное действие (например, страницы регистрации или покупки).

Делайте следующее:

• Используйте robots.txt, если вы вообще не хотите, чтобы Google краулил определенный ресурс или страницу.
• Если общий ресурс используется на нескольких страницах (например, общее изображение или файл JavaScript),
  ссылайтесь на этот ресурс по одному и тому же URL на каждой странице, чтобы Google мог кэшировать и повторно использовать его без необходимости запрашивать файл многократно.

Избегайте:

• Не добавляйте и не удаляйте страницы или каталоги из robots.txt регулярно в качестве способа перераспределения
  краулингового бюджета вашего сайта. Используйте robots.txt только для страниц или ресурсов,
  которые вы не хотите видеть в Google в долгосрочной перспективе.
• Не ротируйте файлы sitemap и не используйте другие временные механизмы скрытия для перераспределения бюджета.

soft 404 ошибки

A soft 404 ошибка возникает, когда URL возвращает страницу, сообщающую пользователю, что страница не существует, а также
200 (успешно)
код состояния. В некоторых случаях это может быть страница без основного контента или пустая страница.

Такие страницы могут создаваться по разным причинам веб-сервером вашего сайта, системой управления контентом или браузером пользователя. Например:

• Отсутствующий файл включения на стороне сервера.
• Разорванное соединение с базой данных.
• Пустая страница результатов внутреннего поиска.
• Не загруженный или отсутствующий файл JavaScript.

Плохой пользовательский опыт — возвращать 200 (успешно) код состояния, но затем отображать или предлагать сообщение об ошибке или какой-то вид ошибки на странице. Пользователи могут подумать, что страница является работающей, но затем сталкиваются с какой-то ошибкой. Такие страницы исключаются из Поиска.

Когда алгоритмы Google обнаруживают, что страница на самом деле является страницей ошибки на основе ее контента, Search Console покажет soft 404 ошибку в
отчете об индексации страниц.

сайта. Исправьте soft 404

ошибки В зависимости от состояния страницы и желаемого результата, вы можете решить
soft 404

• ошибки несколькими способами:
• Страница и контент больше не доступны.
• Страница или контент теперь находятся в другом месте.

Страница и контент все еще существуют.

Попробуйте определить, какое решение будет лучшим для ваших пользователей.

Страница и контент больше не доступны
Если вы удалили страницу и на вашем сайте нет страницы замены с похожим контентом, верните 404 (не найдено) или
410 (удалено)

код ответа (состояния) для страницы. Эти коды состояния указывают поисковым системам, что страница не существует и вы не хотите, чтобы поисковые системы индексировали эту страницу. 404 Если у вас есть доступ к файлам конфигурации вашего сервера, вы можете сделать эти страницы ошибок полезными для пользователей, настроив их. Хорошая пользовательская
404 страница помогает людям найти информацию, которую они ищут, а также предоставляет другой полезный контент, который побуждает людей исследовать ваш сайт дальше. Вот несколько советов по созданию полезной пользовательской

• страницы:
• Четко сообщите посетителям, что искомая ими страница не может быть найдена. Используйте дружелюбный и привлекательный язык. 404 Убедитесь, что ваша
• страница имеет тот же внешний вид (включая навигацию), что и остальная часть вашего сайта.
• Рассмотрите возможность добавления ссылок на ваши самые популярные статьи или публикации, а также ссылку на главную страницу вашего сайта.

Подумайте о предоставлении пользователям возможности сообщить о неработающей ссылке. 404 Пользовательские 404 страницы создаются исключительно для пользователей. Поскольку эти страницы бесполезны с точки зрения поисковой системы, убедитесь, что сервер возвращает

код состояния HTTP

чтобы предотвратить индексацию страниц.
Страница или контент теперь находятся в другом месте
Если ваша страница была перемещена или имеет четкую замену на вашем сайте, верните
301 (постоянная переадресация)
чтобы перенаправить пользователя. Это не прервет их опыт просмотра, и это также отличный способ сообщить поисковым системам о новом местоположении страницы. Используйте

инструмент проверки URL

чтобы убедиться, что ваш URL действительно возвращает правильный код. Страница и контент все еще существуют Если в остальном хорошая страница была помечена как
soft 404
ошибка, вероятно, она не загрузилась должным образом для Googlebot, ей не хватало критических ресурсов или она отображала заметное сообщение об ошибке во время рендеринга. Используйте инструмент проверки URLчтобы изучить отрендеренный контент и возвращенный код HTTP. Если отрендеренная страница пуста, почти пуста или контент содержит сообщение об ошибке, возможно, ваша страница ссылается на множество ресурсов, которые не могут быть загружены (изображения, скрипты и другие нетекстовые элементы), что может быть интерпретировано как
soft 404.

Причины, по которым ресурсы не могут быть загружены, включают заблокированные ресурсы (заблокированные через

robots.txt

), наличие слишком большого количества ресурсов на странице, различные ошибки сервера, медленная загрузка или очень большие ресурсы.:

Управляйте чрезмерным сканированием вашего сайта (чрезвычайные ситуации)

У Googlebot есть алгоритмы, предотвращающие перегрузку вашего сайта запросами на сканирование. Однако, если вы обнаружите, что Googlebot перегружает ваш сайт, есть несколько вещей, которые вы можете сделать.:

Диагностика

1. Мониторьте ваш сервер на предмет чрезмерных запросов Googlebot к вашему сайту. 503 Лечение 429 В чрезвычайной ситуации мы рекомендуем следующие шаги, чтобы замедлить чрезмерное сканирование от Googlebot: Возвращайте или
2. коды состояния ответа HTTP 503 временно 429 для запросов Googlebot, когда ваш сервер перегружен. Googlebot будет повторно пытаться получить эти URL в течение примерно 2 дней. Обратите внимание, что возврат кодов “нет в наличии” в течение более чем нескольких дней приведет к тому, что Google навсегда замедлит или остановит сканирование URL на вашем сайте, поэтому следуйте дополнительным следующим шагам. 503 Когда скорость сканирования снизится, прекратите возвращать 429 или
3. коды состояния ответа HTTP для запросов на сканирование; возврат
4. или
   в течение более 2 дней приведет к тому, что Google удалит эти URL из индекса. Мониторьте ваше сканирование и емкость вашего хоста с течением времени. Если проблемный сканер — один из сканеров AdsBot,
   вероятно, проблема в том, что вы создали
   цели для динамических поисковых объявлений
   для вашего сайта, которые Google пытается просканировать. Это сканирование будет повторяться каждые 3 недели. Если у вас нет серверных мощностей для обработки этих сканирований, ограничьте цели объявлений или увеличьте пропускную способность сервера.