Статус ‘Crawled – currently not indexed’ в Google Search Console означает, что Googlebot успешно получил вашу страницу, но решил не добавлять ее в поисковый индекс. Этот статус обычно сигнализирует о том, что Google отдал приоритет другим страницам из-за глубины контента, сигналов качества, почти дублирующихся шаблонов или недостаточной внутренней перелинковки. Чтобы исправить эту проблему, вам необходимо консолидировать избыточные страницы, повысить ценность контента, усилить внутренние ссылки и запросить проверку в Search Console.
Что означает ‘Crawled currently not indexed’?
Когда Googlebot посещает веб-сайт, он загружает HTML-контент и обрабатывает отрендеренную структуру. Если страница проходит базовые технические проверки, Google оценивает, добавляет ли контент уникальную ценность к его общему индексу. Когда URL получает статус ‘Crawled – currently not indexed’, техническое сканирование прошло успешно, но конвейер индексации отложил страницу в сторону.
Это поведение отличается от статуса ‘Discovered – currently not indexed’. Статус ‘Discovered’ означает, что Google знает о существовании URL (часто через XML-карты сайта или внешние обратные ссылки), но еще не потратил бюджет сканирования на загрузку контента. Статус ‘Crawled’ доказывает, что Google уже изучил контент страницы и решил не индексировать его в данный момент.
Понимание этого различия жизненно важно для владельцев сайтов. Вам не нужно исправлять время ответа сервера или доступность сканирования для страниц с этим статусом. Вместо этого ваш основной фокус должен сместиться на качество страницы, консолидацию контента и внутреннюю архитектуру сайта.
Почему Google сканирует страницы, не индексируя их?
Google использует автоматизированные системы для поддержания эффективности индексации миллиардов веб-страниц. Хранение каждой веб-страницы на земле требует огромных вычислительных ресурсов, поэтому алгоритмы поисковых систем отфильтровывают страницы, которые дублируют существующий контент или предлагают мало ценности для пользователей. Если страница не преодолевает внутренний порог качества Google, она остается неиндексированной.
Несколько архитектурных и редакционных факторов вызывают этот статус на опубликованных веб-сайтах:
- Тонкий или низкокачественный контент: Страницы с минимальным оригинальным текстом, автоматически сгенерированными стандартными описаниями или пустыми списками категорий.
- Почти дублирующиеся шаблоны: Платформы электронной коммерции, которые генерируют отдельные URL для незначительных вариаций продуктов, таких как цвет или размер, без отличительного текста.
- Низкий вес внутренних ссылок: Страницы, глубоко зарытые в структуре сайта без контекстных входящих ссылок из навигации верхнего уровня или статей.
- Слабые сигналы качества: Статьи или целевые страницы, которым не хватает авторитетных деталей, структурированных данных или четкой редакционной дифференциации.
- Страницы технических проблем: Страницы проверки безопасности, вариации ID сессии или URL, управляемые параметрами, которые избегают канонических директив.
В типичной учетной записи основной причиной является дублирование шаблонов. Когда сотни страниц тегов или фильтров имеют идентичные заголовки, подвалы и ссылки боковой панели, а в списке указан только один или два продукта, Googlebot распознает перекрытие шаблонов и исключает эти URL из индекса.
Как провести аудит неиндексированных URL в Search Console?
Чтобы проанализировать затронутые страницы, откройте Google Search Console и перейдите в раздел Индексирование > Страницы. Прокрутите вниз до таблицы ‘Почему страницы не проиндексированы’ и нажмите ‘Crawled – currently not indexed’. Этот вид предоставляет полный список URL, затронутых этим статусом, вместе с историческими линиями трендов, показывающими, когда увеличилось количество исключений.
Экспортируйте полный список URL в таблицу CSV, чтобы сгруппировать страницы по папке сайта или структуре URL. Например, магазин Shopify, продающий товары для дома, может обнаружить, что 80 процентов неиндексированных URL относятся к тегам фильтров, таким как /collections/rugs?color=blue. Выявление закономерностей по подпапкам URL помогает определить, является ли проблема системной для шаблона или ограничена отдельными записями в блоге.
Выберите от трех до пяти примеров URL из разных категорий и используйте инструмент проверки URL. Сравните ‘User-declared canonical’ с ‘Google-selected canonical’. Если Google выбрал другой URL в качестве канонического, вы столкнулись с конфликтом канонизации, а не с простой проблемой глубины контента.
Также проверьте живой рендеринг страницы. Убедитесь, что основной текст загружается правильно во время начального HTML-рендеринга и не зависит полностью от сложного клиентского JavaScript, который может дать сбой во время конвейеров поискового рендеринга.
Как исправить страницы ‘Crawled currently not indexed’?
Решение этого статуса индексации требует систематического подхода к качеству страницы, структуре сайта и каноническому управлению. Выполните эти четыре практических шага, чтобы исправить неиндексированные URL в вашем домене.
Шаг 1: Консолидируйте или установите noindex для дублирующегося контента
Определите страницы, которые предлагают идентичный или почти идентичный контент. Если пять разных URL отображают похожие описания продуктов или архивы тегов, выберите один основной URL в качестве мастер-страницы. Настройте постоянные редиректы 301 с дублирующихся URL на основной URL. Альтернативно, добавьте мета-тег noindex к страницам таксономии низкого качества, которые пользователям не нужно находить через результаты поисковых систем.
При настройке канонических ссылок или редиректов убедитесь, что внутренние ссылки на вашем сайте указывают непосредственно на конечный целевой URL. Избегайте создания цепочек внутренних ссылок, ведущих на перенаправленные или канонизированные страницы, так как это размывает вес ссылок и сбивает с толку ботов сканирования.
Шаг 2: Улучшите качество контента и уникальную глубину
Для автономных страниц, которые вы хотите проиндексировать, пересмотрите глубину контента. Расширьте тонкие статьи, добавив подробные объяснения, прямые ответы, обновленные структурированные данные и практические примеры. Убедитесь, что основной текст отвечает на основной поисковый запрос пользователя лучше, чем конкурирующие страницы в сети.
Избегайте копирования описаний продуктов, предоставленных производителями или поставщиками. Когда несколько веб-сайтов отображают идентичный текст производителя, поисковые системы индексируют источник, обнаруженный первым, а остальные классифицируют как дублирующийся контент.
Шаг 3: Усильте архитектуру внутренних ссылок
Страницы, которым не хватает внутренних ссылок, сигнализируют Googlebot, что страница не важна. Добавьте прямые контекстные текстовые ссылки с релевантных страниц с высоким авторитетом внутри домена вашего сайта. Например, ссылайтесь на неиндексированное руководство напрямую со страницы категории с высокой производительностью или записи в блоге с высоким трафиком, используя описательный якорный текст.
Также проверьте XML-карту сайта. Убедитесь, что каждый URL, включенный в вашу карту сайта, является индексируемой канонической страницей, которая возвращает код состояния 200 OK. Удаление неиндексированных или канонизированных URL из вашей карты сайта предотвращает получение поисковыми системами противоречивых сигналов.
Шаг 4: Запросите повторную индексацию и подтвердите исправления
После обновления контента и структуры внутренних ссылок отправьте основной URL через инструмент проверки URL в Search Console, нажав ‘Запросить индексацию’. Как только вы исправите партию URL, вернитесь к основному отчету о статусе в Search Console и нажмите ‘Подтвердить исправление’, чтобы побудить Google переоценить затронутую группу URL.
Предотвращение падения индексации на платформах электронной коммерции
Крупные веб-сайты и платформы электронной коммерции часто генерируют тысячи динамических URL через фасетную навигацию, поисковые фильтры и параметры сортировки. Если каждая вариация фильтра создает индексируемый URL, поисковые краулеры тратят время на оценку тонких страниц.
Внедрите строгие канонические теги на отфильтрованных страницах, указывающие на основной URL категории. Альтернативно, используйте правила запрета в robots.txt или управление параметрами, чтобы предотвратить сканирование Googlebot комбинаций параметров низкого качества. Установление этих границ позволяет поисковым системам сосредоточиться на основных страницах продуктов и целевых страницах, приносящих доход.
В Alien Road технические рабочие процессы часто показывают, что автоматизированные системы управления контентом по умолчанию публикуют пустые архивы тегов. Отключение генерации пустых тегов предотвращает попадание сотен тонких URL в конвейер сканирования Search Console в первую очередь.
Еще одна эффективная тактика — оценка хлебных крошек (breadcrumbs). Хлебные крошки создают сильную иерархию для краулеров и гарантируют, что каждая дочерняя страница напрямую соединяется со своей родительской страницей категории с помощью чистых, сканируемых HTML-ссылок.
С чего начать на этой неделе
Работа с неиндексированными URL требует приоритизации страниц с высоким влиянием над автоматизированными архивами низкого качества. Начните процесс оптимизации с четкого четырехдневного технического рабочего процесса.
- День 1: Экспортируйте отчет ‘Crawled – currently not indexed’ из Google Search Console и классифицируйте URL по типу страницы или папке сайта.
- День 2: Примените редиректы 301 или теги noindex к тонким архивам тегов, дублирующимся вариантам категорий и проблемным страницам.
- День 3: Перепишите и расширьте тонкие основные целевые страницы или записи в блоге, которые содержат уникальную ценность, но лишены глубины.
- День 4: Добавьте 2-3 контекстные внутренние ссылки со страниц с высоким трафиком на ваши недавно улучшенные URL и отправьте их на проверку в Search Console.
Устраняя избыточность шаблонов и усиливая иерархию внутренних ссылок, вы даете Google четкие сигналы качества. Отслеживайте Search Console в течение следующих двух-четыех недель, чтобы следить за тем, как ваши обновленные URL переходят в статус индексированных.
Читайте далее: SEO (поисковая оптимизация) · SEO