Статус ‘Обнаружено — не проиндексировано’ в Google Search Console указывает на то, что Googlebot идентифицировал ваш URL, но отложил процесс сканирования. Это преднамеренное действие Google для управления спросом на сканирование сайта и предотвращения перегрузки сервера. Это не обязательно означает, что ваш сайт находится под санкциями, но предполагает, что поисковая система воспринимает контент вашего сайта как менее приоритетный или что ресурсы вашего сервера в настоящее время ограничены.
Почему Google помечает URL как обнаруженный, но не проиндексированный?
Google использует сложные алгоритмы для управления потоком ресурсов во время фазы сканирования. Когда ваша страница переходит в состояние обнаруженной, робот добавил ее в очередь, но еще не получил контент. Это часто происходит из-за того, что бюджет сканирования исчерпан или система определяет, что страница не предлагает достаточно уникальной ценности по сравнению с существующими проиндексированными страницами.
Думайте об этом как о проблеме спроса и предложения. Google хочет индексировать ваш контент, но имеет ограниченные возможности для сканирования каждой страницы в Интернете. Если на вашем сайте тысячи низкокачественных, дублированных или пустых страниц, робот может потратить свой бюджет там, вместо того чтобы добраться до ваших важных активов. Когда робот сталкивается с задержкой сервера, он немедленно отступает, чтобы избежать дальнейшей деградации.
Другим фактором является сила сигнала ваших внутренних ссылок. Если новая страница обнаружена через карту сайта, но на нее нет внутренних ссылок с вашей основной навигации или страниц категорий, Google может рассматривать ее как менее приоритетную. Система по сути ждет больше доказательств того, что страница стоит усилий полного цикла выборки и рендеринга.
Как вы можете определить первопричину задержек индексации?
Чтобы решить эту проблему, вы должны исследовать технические барьеры, которые мешают роботам. Мы ищем шаблоны, где определенные разделы или структуры URL постоянно игнорируются роботом. Вам следует начать с аудита логов вашего сайта, чтобы увидеть, как часто посещает Googlebot и сталкивается ли он с ошибками 5xx или значительной задержкой.
- Чрезмерное использование параметров URL, которые создают тысячи путей дублированного контента.
- Колеблющееся время ответа сервера, заставляющее робота отступать.
- Плохая архитектура внутренней перелинковки, которая глубоко зарывает новый контент в иерархии сайта.
- Низкокачественные или пустые страницы контента, которые не соответствуют базовым стандартам индексации.
При анализе вашего сайта ищите кластеры затронутых URL. Все ли они из определенного каталога? Разделяют ли они все один и тот же шаблон? Часто проблема заключается не в отдельной странице, а в системной проблеме с шаблоном или способом управления фасетной навигацией на сайте. Если робот находит тысячи вариаций страницы товара, он перестанет индексировать эти варианты, чтобы сэкономить ресурсы.
Как Alien Road применяет это для наших клиентов
В Alien Road наша команда подходит к этому, изучая логи сервера, чтобы увидеть, как Googlebot взаимодействует с вашим сайтом. Мы не гадаем; мы используем фактические данные из отчетов о сканировании, чтобы определить, является ли проблема техническим узким местом или сигналом качества контента. Например, в типичном проекте для клиента электронной коммерции мы определяем, что робот тратит ресурсы на URL, сгенерированные фильтрами.
Затем мы внедряем стратегию по консолидации пустых страниц и улучшению структуры внутренней перелинковки, чтобы направить робота к высокоприоритетным активам. Мы можем использовать канонические теги, чтобы указать дубликаты на родительскую страницу, гарантируя, что робот сосредоточится на версии, которая имеет значение. Этот четкий путь помогает роботу понять, какие страницы являются основными, сокращая длину очереди ‘обнаруженных’.
Без этих шаблонов робот может пропустить критические данные, оставив ваш контент невидимым в результатах поиска.
Google Search Central
Оптимизирована ли структура вашего сайта для эффективного сканирования?
Эффективное сканирование опирается на чистую, логичную структуру. Если ваши URL являются сиротами или на них ссылаются только с глубоких страниц, Google с меньшей вероятностью отдаст им приоритет. Мы рекомендуем плоскую структуру, где важные страницы доступны в пределах трех кликов от главной страницы. Это увеличивает видимость ‘глубины сканирования’ для робота.
- Проведите аудит вашей XML-карты сайта, чтобы убедиться, что она содержит только канонические, индексируемые URL.
- Используйте robots.txt, чтобы предотвратить трату времени робота на нерелевантные административные пути.
- Убедитесь, что ваш сервер обрабатывает одновременные запросы без достижения пиков задержки.
- Обновите внутренние ссылки, чтобы убедиться, что свежий контент правильно ссылается с высокоавторитетных страниц.
Подумайте о том, как организована ваша XML-карта сайта. Если она включает тысячи старых, перенаправленных или неканонических страниц, вы посылаете смешанные сигналы роботу. Поддерживая свою карту сайта очищенной и точной, вы предоставляете четкую дорожную карту для поисковой системы. Аналогично, обеспечение того, чтобы ваше навигационное меню было построено со стандартными HTML-ссылками, позволяет роботу достичь каждого раздела вашего сайта, не полагаясь на сложные события JavaScript.
Улучшение надежности сервера
Если ваш сервер медленный, Googlebot будет сканировать меньше страниц, чтобы защитить ваш сайт от сбоев. Улучшение времени ответа часто приводит к немедленному увеличению скорости сканирования. Это гарантирует, что когда поисковая система вернется, чтобы обнаружить новый контент, она найдет стабильную и отзывчивую среду. Мы ищем пики времени ответа в часы пик, которые могут совпадать с активностью сканирования.
Какие шаги вам следует предпринять на этой неделе?
Начните с экспорта списка затронутых URL из Search Console. Сравните их с вашей картой сайта, чтобы проверить, являются ли они действительно важными страницами. Если вы найдете низкокачественные страницы, используйте тег noindex, чтобы удалить их из очереди, позволяя роботу сосредоточиться на страницах, которые действительно способствуют достижению ваших бизнес-целей. Это повторяющаяся задача по обслуживанию для любого растущего сайта.
Проверьте вашу внутреннюю перелинковку на наличие ‘тупиков’, где контент обнаружен, но нет исходящих ссылок. Убедитесь, что ваши самые последние, высокоценные публикации связаны напрямую с вашей главной страницы или основной страницы категории. Предоставляя четкий путь, вы увеличиваете вероятность того, что Google отдаст приоритет этим URL для индексации в следующем цикле сканирования.