Сканируемость мобильной версии: Настройка robots.txt для Baiduspider

Настройка robots.txt для Baiduspider направляет автоматизированные поисковые сканеры Baidu — включая десктопный Baiduspider и Baiduspider-Mobile — к доступным путям сайта, блокируя при этом приватные директории и нежелательные параметры URL. Правильная настройка файла гарантирует, что Baidu сможет эффективно обнаруживать, рендерить и индексировать ваши мобильные веб-страницы, не сталкиваясь с неожиданными блокировками доступа и не растрачивая ценный краулинговый бюджет сервера.

Как Baiduspider обрабатывает robots.txt для мобильного сканирования?

Baidu использует различные идентификаторы user-agent для операций поисковой индексации на десктопах и мобильных устройствах. Основной мобильный поисковый сканер идентифицирует себя как Baiduspider-Mobile, в то время как стандартный десктопный движок использует Baiduspider. Каждый раз, когда поисковый бот посещает веб-хост, он проверяет корневой файл robots.txt по адресу /robots.txt перед загрузкой любого документа или ресурса шаблона. Если ваш хост возвращает стандартный код состояния HTTP 404, Baidu предполагает отсутствие ограничений доступа и продолжает сканирование всех доступных путей на вашем сервере.

Однако, если веб-сервер возвращает ошибку сервера HTTP 5xx во время запроса robots.txt, Baiduspider временно приостанавливает сканирование всего хоста во избежание перегрузки сервера. Эта пауза безопасности может заблокировать обновление индекса на несколько дней. Поэтому поддержание надежного и быстрого статуса 200 для файла инструкций имеет решающее значение для стабильной мобильной индексации.

Поскольку Baidu оценивает удобство использования мобильных устройств с помощью автоматизированных движков рендеринга, блокировка CSS, JavaScript или мультимедийных ресурсов с помощью инструкций Disallow мешает сканеру оценивать реальный макет страницы. Когда Baiduspider-Mobile не может загрузить таблицы стилей, он видит неформатированный текстовый документ. Эта ситуация часто приводит к автоматическим сбоям при проверках удобства посадочных страниц, таким как некоторому размеру шрифта или отсутствию контента на первом экране.

Мы часто замечаем, что сайты непреднамеренно блокируют директории JavaScript в robots.txt для экономии краулингового бюджета, а затем обнаруживают, что Baiduspider-Mobile отбрасывает их страницы из-за ошибок рендеринга. Предоставление полного доступа к ресурсам рендеринга имеет важное значение для соответствия стандарту мобильной оптимизации Baidu.

SEO-команда Alien Road

Стоит ли разделять правила User-agent для Baiduspider-Mobile?

Создание целевых правил для отдельных поисковых ботов дает веб-мастерам точный контроль над доступом к серверу. В стандартных конфигурациях установка директив под User-agent: Baiduspider применяется к правилам поисковых сканеров для десктопов и мобильных устройств одновременно. Однако использование User-agent: Baiduspider-Mobile явно позволяет вам предоставлять специализированные инструкции, если ваша инфраструктура разделяет мобильные и десктопные ресурсы по разным директориям или поддоменам.

Для раздельных архитектур мобильных URL (например, m.example.com) выделенный мобильный домен должен размещать собственный независимый файл в корневом пути. Запрет мобильного пути на основном десктопном домене не мешает Baiduspider-Mobile запрашивать тот же путь на мобильном поддомене. Каждый хост домена оценивает собственный файл конфигурации корневого каталога независимо.

• Используйте User-agent: Baiduspider для общих правил доступа, которые одинаково применяются к десктопным и мобильным сканерам.
• Указывайте User-agent: Baiduspider-Mobile при применении уникальных путей сканирования для мобильных скриптов или файлов макета.
• Убедитесь, что отдельные имена хостов, такие как m.example.com, имеют доступный выделенный корневой файл конфигурации.
• Избегайте конфликтующих правил Disallow между общими блоками User-agent: * и конкретными директивами Baiduspider.

Каковы наиболее частые ошибки robots.txt в мобильных настройках Baidu?

Частой ошибкой при управлении мобильным сканированием является блокировка динамических параметров URL, которые обрабатывают отслеживание мобильных сессий, выбор фильтров или языковые опции. Когда Baiduspider-Mobile натыкается на правило Disallow в URL на основе параметров, он не может получить страницу или обработать любые метатеги мобильной адаптации, присутствующие в заголовке HTML. Это разрушает связь между ПК и мобильными URL, заставляя Baidu рассматривать их как отдельные конкурирующие документы.

Другая частая ошибка связана с блокировкой файлов ресурсов, необходимых для проверки мобильного макета. Согласно опубликованным критериям Baidu для мобильных устройств, основной текст должен оставаться размером 10pt или более, высота строки должна поддерживать соотношение более 1.4 к размеру шрифта, а основной контент должен занимать более 50% первого экрана. Если ваш файл robots.txt блокирует внешний CSS или скрипты макета, Baiduspider не сможет точно рассчитать покрытие экрана или масштаб типографики.

• Блокировка файлов CSS или JS, необходимых для рендеринга первого экрана и расчета масштаба области просмотра (viewport).
• Запрет целей мобильной адаптации или перенаправляемых путей назначения в различных конфигурациях URL.
• Выдача внутренней ошибки сервера 500 для конечной точки robots.txt вместо чистого ответа 200 или 404.
• Случайная блокировка директорий основного контента при попытке заблокировать среды тестирования (staging) или внутренний поиск.
• Использование неподдерживаемых регулярных выражений (regex) или пользовательского синтаксиса подстановочных знаков, не распознаваемого сканерами Baidu.

Основные синтаксические директивы для управления доступом Baiduspider

Baidu поддерживает стандартные директивы управления сканированием, включая объявления User-agent, Allow, Disallow и Sitemap. Понимание того, как Baiduspider интерпретирует сопоставление шаблонов, помогает предотвратить случайные исключения в сложных архитектурах сайтов.

Baiduspider распознает символ конца строки знака доллара ($) и подстановочный знак звездочки (*). Приоритет шаблонов в парсере Baidu обычно отдает предпочтение наиболее специфическому правилу перед общими шаблонами. Когда директива Allow и директива Disallow имеют одинаковую длину символов, Baiduspider отдает приоритет правилу Allow. Поддержание синтаксиса в чистоте и краткости минимизирует неожиданное поведение сканера.

Также рекомендуется объявить расположение карты сайта XML в файле robots.txt. Добавление таких строк, как Sitemap: https://example.com/sitemap.xml в нижней части файла, предоставляет Baiduspider прямой путь к чистым спискам URL, облегчая более быстрое обнаружение недавно опубликованных мобильных страниц.

При аудите многорегиональных веб-сайтов мы обеспечиваем гармоничную работу канонических тегов, заявлений о мобильной адаптации и директив robots.txt. Одно неправильно настроенное правило Disallow может свести на нет месяцы работы по оптимизации мобильного контента.

SEO-команда Alien Road

Как Alien Road применяет настройку robots.txt для Baiduspider

В Alien Road наша команда следует структурированному агентскому протоколу для аудита, настройки и мониторинга инструкций сканирования для проектов поиска Baidu. Мы интегрируем технический анализ сканирования непосредственно в более широкие рабочие процессы роста для поддержания оптимальной мобильной производительности сайтов клиентов.

В рамках типичного проекта наша команда начинает с начальной фазы технического обнаружения. Мы анализируем журналы доступа сервера, чтобы наблюдать, как Baiduspider и Baiduspider-Mobile взаимодействуют с существующими правилами robots.txt. Мы проверяем, что ответы статуса HTTP для /robots.txt возвращают чистые коды 200, и подтверждаем, что критические ресурсы рендеринга остаются полностью открытыми для сканеров.

Во время фазы технической настройки мы разрабатываем индивидуальные наборы правил, адаптированные под архитектуру клиента. Для адаптивных (responsive) веб-сайтов мы поддерживаем единые правила в разделе User-agent: Baiduspider. Для раздельных структур мобильных хостов мы создаем выделенные файлы конфигурации как на десктопных, так и на мобильных доменах. Мы также явно объявляем URL-адреса карт сайтов для ускорения первоначального обнаружения URL.

Для измерения и валидации наши специалисты тестируют ответы сканирования с помощью технических инструментов на платформе Baidu Search Resource Platform. Мы отправляем обновленные файлы конфигурации, отслеживаем отчеты об ошибках сканирования и проверяем статус индекса в течение многонедельного периода мониторинга. Эта фаза подтверждает, что новые правила устраняют исторические блокировки сканирования без создания непреднамеренных исключений.

Наконец, во время регулярной отчетности мы отслеживаем показатели успешности мобильных посадочных страниц наряду с тенденциями скорости сканирования.Наша команда проводит регулярные проверки работоспособности краулингового бюджета, чтобы подтвердить, что Baiduspider фокусирует свои запросы на высокоценных, индексируемых мобильных посадочных страницах.

С чего начать на этой неделе с сканируемостью вашего сайта в Baidu

Чтобы убедиться, что ваш сайт остается полностью доступным для сканирования Baiduspider и Baiduspider-Mobile, начните с проверки текущего живого файла robots.txt. Проверьте журналы сервера, чтобы подтвердить, что ответы статуса HTTP для пути /robots.txt возвращают надежный код состояния 200 без периодических ошибок шлюза или тайм-аутов сервера.

Затем проверьте основные шаблоны мобильных страниц по вашему списку запретов (disallow list). Подтвердите, что основные ресурсы CSS, JS и изображений, необходимые для рендеринга первого экрана, открыты для сканирования. Немедленное устранение этих фундаментальных элементов защищает статус вашей мобильной индексации и поддерживает стабильные показатели поиска в Baidu.