robots.txt y Baiduspider

Baiduspider comprueba robots.txt en la raíz del dominio antes de rastrear. La sintaxis sigue el protocolo estándar; los detalles a continuación muestran dónde Baidu difiere o es más explícito que la mayoría de los motores.

La regla que la mayoría de los sitios hacen mal

Baidu lo afirma claramente: si quieres que todo se indexe, no crees un archivo robots.txt en absoluto. El archivo existe únicamente para excluir. Un archivo vacío o ausente deja el sitio completamente abierto, que es la configuración correcta para la mayoría de los sitios y la que la gente reemplaza con una plantilla recordada a medias.

Bloquear no es eliminar

Una página bloqueada en robots.txt aún puede aparecer en los resultados de Baidu cuando otros sitios la enlazan. Su contenido no se rastrea, indexa ni muestra; lo que aparece es la descripción que otros sitios hacen de él. El bloqueo controla el rastreo; no controla la presencia.

Precisión de directivas

• Disallow: /help bloquea /help.html, /helpabc.html y /help/index.html.
• Disallow: /help/ bloquea solo /help/index.html — los dos primeros siguen siendo rastreables.
• Un Disallow: vacío permite todo; se requiere al menos un registro Disallow en un archivo válido.
• El orden importa: el robot aplica la primera línea Allow o Disallow coincidentes. Esta no es la regla de coincidencia más larga que usan otros motores, y un archivo escrito para Google puede comportarse de manera diferente aquí.
• Comodines: * coincide con cualquier secuencia, $ coincide con el final de la línea.
• La coincidencia distingue mayúsculas de minúsculas y es exacta. Baidu advierte que una discrepancia en las mayúsculas y minúsculas hace que la regla sea ineficaz.

Metadirectivas específicas de Baidu

• <meta name="robots" content="nofollow"> — no seguir enlaces ni pasar valor; <meta name="Baiduspider" content="nofollow"> restringe esto solo a Baidu.
• <meta name="robots" content="noarchive"> — sin captura en caché; la forma exclusiva de Baidu es <meta name="Baiduspider" content="noarchive">. Tenga en cuenta que noarchive suprime solo la captura — la página sigue indexada y se muestra con un resumen.
• Control por enlace con rel="nofollow" es compatible.

Identificación del Baiduspider real

Baidu no publica sus rangos de IP; cambian. La verificación se realiza mediante agente de usuario más DNS inverso, y hay tres familias de agentes de usuario — móvil, PC, y miniprograma, con Baiduspider-render variantes para renderizado. El bloqueo por IP no es una estrategia compatible; comprobar primero el agente y confirmar por DNS sí lo es.