robots.txt и Baiduspider

Baiduspider проверяет robots.txt в корне домена перед сканированием. Синтаксис следует стандартному протоколу; детали ниже показывают, в чем Baidu отличается или является более точным, чем большинство поисковых систем.

Правило, в котором ошибается большинство сайтов

Baidu заявляет об этом прямо: если вы хотите, чтобы индексировалось все, вообще не создавайте файл robots.txt. Файл существует только для исключения. Пустой или отсутствующий файл оставляет сайт полностью открытым, что является правильной конфигурацией для большинства сайтов и тем, что люди заменяют полузабытым шаблоном.

Блокировка — это не удаление

Страница, заблокированная в robots.txt все равно может появляться в результатах Baidu когда на нее ссылаются другие сайты. Ее содержимое не сканируется, не индексируется и не отображается — появляется описание этой страницы на других сайтах. Блокировка управляет сканированием, а не присутствием.

Точность директив

• Disallow: /help блокирует /help.html, /helpabc.html и /help/index.html.
• Disallow: /help/ блокирует только /help/index.html — первые два остаются доступными для сканирования.
• Пустой Disallow: разрешает все; в валидном файле требуется по меньшей мере одна запись Disallow .
• Порядок имеет значение: робот применяет первую подходящую Allow или Disallow строку. Это не правило наибольшего совпадения, которое используют другие поисковые системы, и файл, написанный для Google, здесь может вести себя иначе.
• Подстановочные знаки (Wildcards): * соответствует любой последовательности, $ соответствует концу строки.
• Сопоставление учитывает регистр и является точным. Baidu предупреждает, что несовпадение регистра делает правило неэффективным.

Метадирективы, специфичные для Baidu

• <meta name="robots" content="nofollow"> — не следовать по ссылкам и не передавать вес; <meta name="Baiduspider" content="nofollow"> ограничивает это только Baidu.
• <meta name="robots" content="noarchive"> — без кэшированного снимка; форма только для Baidu — <meta name="Baiduspider" content="noarchive">. Обратите внимание, что noarchive отключает только снимок — страница по-прежнему индексируется и отображается с описанием.
• Управление на уровне ссылок с помощью rel="nofollow" поддерживается.

Идентификация настоящего Baiduspider

Baidu не публикует свои диапазоны IP-адресов; они меняются. Проверка выполняется по user-agent и обратному DNS, существует три семейства user-agent — мобильный, ПК, а также мини-программа, с Baiduspider-render вариантами для рендеринга. Блокировка по IP не является поддерживаемой стратегией; проверка агента с подтверждением по DNS — да.