Обнаружение ловушек для краулеров — это процесс выявления шаблонов URL, которые заставляют ботов поисковых систем попадать в бесконечные циклы, потребляя ресурсы сервера и ограничивая обнаружение нового контента. Эти ловушки возникают, когда динамические параметры, такие как фильтры или опции сортировки, создают почти бесконечное количество уникальных URL, указывающих на один и тот же или похожий контент страницы. Выявляя эти структуры, команды могут предотвратить трату времени Google на низкоценные страницы и обеспечить более быстрое попадание критических обновлений сайта в индекс.
Почему ловушки для краулеров возникают в фасетной навигации?
Фасетная навигация — это полезный способ для пользователей фильтровать товары по цвету, цене или размеру. Однако, когда эти фильтры используют параметры URL, которые можно комбинировать в любом порядке, они генерируют астрономическое количество возможных URL. Googlebot не знает изначально, какие комбинации полезны, а какие избыточны.
Фасетная навигация — это общая функция веб-сайтов, которая позволяет посетителям изменять способ отображения элементов на странице.
Google Search Central
Поскольку краулеры не могут отличить отфильтрованный вид, содержащий уникальный инвентарь, от того, который является просто дубликатом, они могут пытаться просканировать каждую вариацию. Это приводит к чрезмерному краулингу (overcrawling), когда ваш сервер обрабатывает тысячи запросов к страницам, которые не приносят дополнительной ценности пользователям поиска. Во многих случаях комбинация параметров создает путь, ведущий к пустым страницам или переработанному контенту, эффективно запирая бота в цикле, который не приносит пользы индексу.
Например, на сайте электронной коммерции с 50 товарами могут быть фильтры по цвету, размеру, материалу и бренду. Если пользователь может выбирать их в любом порядке, количество сгенерированных URL может достигать миллионов. Googlebot будет пытаться перейти по каждой из этих ссылок, пропуская фактические страницы товаров, которые должны ранжироваться.
Как вы можете выявить потенциальные ловушки на вашем сайте?
Мониторинг логов вашего сервера — самый прямой способ обнаружить эти проблемы. Если вы заметили большой объем запросов к URL, содержащим несколько параметров запроса, вы, вероятно, определили ловушку. Во время анализа вам следует искать эти общие индикаторы:
- URL с повторяющимися параметрами, например ?color=blue&color=red.
- Параметры сортировки, которые генерируют уникальные URL для каждой сессии посетителя.
- Комбинации фильтров, которые приводят к пустым страницам результатов поиска.
- Динамические ID сессий, встроенные в структуру URL.
Помимо лог-файлов, ищите закономерности в отчете ‘Статистика сканирования’ в Google Search Console. Если количество ‘Просканировано — сейчас не проиндексировано’ или ‘Обнаружено — сейчас не проиндексировано’ растет, это признак того, что краулер находит слишком много вариаций URL. Вы должны различать полезные, индексируемые целевые страницы и шум, создаваемый архитектурой сайта.
Учитывайте влияние функционала ‘сортировать по’. Если пользователь нажимает ‘сортировать по цене: от высокой к низкой’, это обычно создает новый URL. Когда Googlebot переходит по этой ссылке, он видит те же товары, что и на странице категории, просто в другом порядке. Умножьте это на десять опций сортировки, и вы создали в десять раз больше работы для краулера без какого-либо выигрыша в уникальном контенте.
Как Alien Road применяет это
В Alien Road наш подход начинается с глубокого аудита данных логов краулинга. Мы анализируем, какие шаблоны URL потребляют самый высокий процент ежедневного бюджета краулинга. Для типичного клиента электронной коммерции мы часто обнаруживаем, что 70% просканированных URL генерируются избыточными фасетами. Мы сопоставляем их с данными о конверсиях, чтобы убедиться, что мы не блокируем страницы, которые действительно приносят доход.
Как только мы выявляем эти шаблоны, мы внедряем структурированную иерархию для параметров. Мы предпочитаем использовать канонические теги, чтобы направлять ботов на основную страницу категории, или блокировать ненужные комбинации параметров через robots.txt, если они не предлагают никакой поисковой ценности. Мы документируем каждое изменение, чтобы гарантировать, что функциональность внутреннего поиска остается нетронутой, пока Googlebot фокусируется на высокоэффективных страницах.
Мы также проводим периодические проверки. После развертывания исправления мы следим за отчетом ‘Страницы’ в Google Search Console, чтобы увидеть, стабилизируется ли количество просканированных URL. Если мы видим снижение нагрузки на сервер, но рост трафика на основные страницы товаров, мы знаем, что аудит был успешным. Этот процесс повторяется всякий раз, когда клиент запускает новую коллекцию или меняет навигацию сайта.
Какие стратегии предотвращают трату бюджета краулинга?
Управление вашим бюджетом краулинга требует дисциплинированного подхода к тому, как вы раскрываете структуру вашего сайта ботам. Вы можете использовать несколько стандартных инструментов и протоколов, чтобы направлять краулер к наиболее релевантному контенту и подальше от циклов.
- Используйте файл robots.txt, чтобы запретить доступ к определенным строкам параметров, которые, как известно, создают циклы.
- Внедрите канонические теги на всех фасетных страницах, чтобы сигнализировать Google о первичной версии.
- Настройте обработку параметров, если архитектура сайта это поддерживает.
- Убедитесь, что ссылки на комбинации фильтров используют атрибут nofollow, где индексация нежелательна.
При использовании файла robots.txt будьте точны. Блокировка целого каталога может привести к непредвиденным последствиям, если там находятся легитимные страницы. Вместо этого нацеливайтесь на конкретные строки запросов, которые, как вы знаете, являются проблемными. Это удерживает краулер вне ловушки, позволяя ему при этом посещать корневую категорию.
Канонические теги — мощный инструмент для управления дублирующимся контентом. Указывая каждую вариацию отфильтрованной страницы обратно на чистый, оригинальный URL, вы сообщаете Google, что, хотя эти страницы существуют, их не следует рассматривать как отдельные сущности. Это помогает консолидировать сигналы ранжирования для основной страницы.
С чего начать на этой неделе
Начните с просмотра вашего отчета о статистике сканирования в Google Search Console. Определите топ-50 URL по частоте сканирования и проверьте, являются ли они уникальными страницами или просто отфильтрованными версиями основной категории. Если вы найдете дубликаты, выберите один метод — например, канонический тег или блок в robots.txt — чтобы устранить их. Сосредоточьтесь на одной категории за раз, чтобы наблюдать, как меняется поведение краулинга в течение следующих семи дней.
Затем изучите ваши внутренние ссылки. Ссылаетесь ли вы на каждую возможную комбинацию фильтров в вашей боковой панели? Замена этих активных ссылок на фильтры на основе JavaScript или неиндексируемые элементы может предотвратить обнаружение ловушек краулерами в первую очередь. Небольшие, намеренные изменения в архитектуре вашего сайта дадут лучшие результаты, чем реактивная блокировка.