El protocolo robots.txt de Baiduspider es el método de comunicación estándar utilizado para informar al rastreador web de Baidu sobre qué áreas de un sitio web deben ser indexadas o ignoradas. Al colocar un archivo de texto en el directorio raíz, los webmasters proporcionan instrucciones claras que el rastreador lee antes de visitar cualquier otra página. Esta configuración ayuda a administrar los recursos del servidor y garantiza que los directorios de bajo valor no desperdicien el presupuesto de rastreo asignado a su dominio.
¿Cómo procesa Baiduspider su archivo robots.txt?
Baiduspider busca el archivo robots.txt en el directorio de nivel superior de su dominio, como example.com/robots.txt. Si falta el archivo, el rastreador asume que tiene permiso para visitar todas las partes accesibles del sitio. Sigue el Protocolo de Exclusión de Robots estándar, pero tiene comportamientos específicos con respecto a la frecuencia de las verificaciones de archivos. Por usual, el rastreador almacena en caché las instrucciones durante un período establecido, lo que significa que los cambios que realice pueden no verse al instante.
Para acelerar el proceso, puede utilizar la Plataforma de Recursos de Búsqueda de Baidu para notificar al motor sobre una actualización. La plataforma incluye una herramienta llamada ‘Análisis de Robots.txt’ donde puede pegar su código para verificar si es válido. Esta herramienta le muestra exactamente cómo Baiduspider interpreta sus reglas. Es una buena práctica verificar esto regularmente, especialmente después de hacer cambios en la estructura del sitio o mudarse a un nuevo servidor.
¿Cuáles son las directivas clave para el protocolo robots.txt de Baiduspider?
Baidu es compatible con las directivas más comunes utilizadas por los motores de búsqueda globales, pero la forma en que las prioriza puede diferir ligeramente. El objetivo principal es proporcionar un camino claro para que el rastreador encuentre su mejor contenido mientras lo mantiene alejado de paneles de administración, páginas de resultados de búsqueda o identificadores de sesión. Las reglas claras ayudan a que el motor comprenda el mapa y la jerarquía de su sitio más rápidamente.
- User-agent: Baiduspider: Esta línea apunta específicamente al rastreador principal de Baidu para la búsqueda web.
- Disallow: /admin/: Esta regla evita que el rastreador acceda e indexe sus carpetas de backend.
- Allow: /static/admin/: Use esto para abrir subcarpetas específicas incluso si la carpeta principal está bloqueada.
- Sitemap: https://example.com/sitemap.xml: Esto le dice a Baiduspider dónde encontrar su lista completa de URL para un descubrimiento más rápido.
- Comodines (*): Estos le permiten bloquear grupos de URL, como aquellos que contienen signos de interrogación para consultas dinámicas.
Baidu también es compatible con el ancla de fin de cadena ($). Esto es muy útil cuando desea bloquear tipos de archivo específicos. Por ejemplo, si no desea que Baiduspider indexe sus archivos PDF, puede usar una regla que apunte a las URL que terminan en .pdf. Este nivel de control es clave para los sitios que albergan muchos documentos técnicos o recursos privados.
¿Por qué es vital la gestión del presupuesto de rastreo para el SEO en Baidu?
El presupuesto de rastreo es el número de páginas que Baiduspider visitará en su sitio dentro de un período de tiempo específico. Si su sitio tiene miles de páginas de baja calidad, como resultados de filtros o vistas de productos duplicados, el rastreador podría gastar toda su energía allí. Esto no deja espacio para que se encuentren sus nuevas publicaciones de blog o actualizaciones de productos. Al usar robots.txt correctamente, dirige el rastreador a las secciones más valiosas de su sitio.
A menudo vemos sitios donde el rastreador pasa el 80% de su tiempo en páginas de filtros de búsqueda que no tienen valor SEO. Arreglar el archivo robots.txt es la forma más rápida de redirigir esa energía hacia las páginas que realmente generan ventas.
Equipo de SEO de Alien Road
Cómo Alien Road aplica el protocolo robots.txt de Baiduspider
Alien Road sigue un proceso detallado para administrar el acceso de Baiduspider para los sitios de los clientes. Durante la fase de descubrimiento, analizamos los registros de acceso del servidor para identificar si Baiduspider está pasando tiempo en URL de bajo valor, como resultados de búsqueda internos o ID de sesión. Esto nos ayuda a ver el comportamiento real del rastreador en el sitio en vivo antes de hacer cualquier cambio.
Para la fase de configuración, creamos un archivo robots.txt personalizado que utiliza reglas Disallow específicas para estas rutas mientras mantiene abiertas las páginas de destino importantes. Además, nos aseguramos de que las versiones móvil y de escritorio del sitio se manejen correctamente si utilizan diferentes estructuras de URL. La medición implica el uso de la Plataforma de Recursos de Búsqueda de Baidu para monitorear la frecuencia de rastreo y verificar cualquier error de rastreo que pueda surgir de las nuevas reglas.
Finalmente, proporcionamos una fase de informes en la que mostramos al cliente cómo el presupuesto de rastreo se ha desplazado hacia páginas comerciales de alta prioridad. Por ejemplo, en una cuenta típica para una marca de comercio electrónico, podríamos ver que la tasa de indexación de nuevos productos aumenta en un 30% después de bloquear las páginas de etiquetas pesadas de rastreo. Esto garantiza que el presupuesto de marketing del cliente no se desperdicie en la indexación de contenido irrelevante.
Uso de la Plataforma de Recursos de Búsqueda de Baidu para la validación
La validación es un paso clave en nuestro proceso. Utilizamos la herramienta oficial para probar cada línea de código. Si una regla es demasiado amplia, podría bloquear los archivos CSS o JavaScript que Baiduspider necesita para renderizar la página correctamente. Revisamos el informe ‘Estadísticas de rastreo’ regularmente para asegurarnos de que el rastreador no esté encontrando errores 404 o rutas bloqueadas que pretendíamos mantener abiertas. Este enfoque basado en datos mantiene el sitio saludable.
¿Puede bloquear sub-rastreadores específicos de Baidu?
Baidu utiliza diferentes rastreadores para diferentes tipos de contenido. Si bien el Baiduspider general maneja páginas web, otros agentes buscan imágenes, videos o contenido específico para dispositivos móviles. Puede optar por bloquear uno mientras permite otros. Esto es útil si desea que sus imágenes aparezcan en la búsqueda pero desea mantener las páginas en privado, o viceversa.
- Baiduspider-image: Se centra en la indexación de imágenes para la Búsqueda de Imágenes de Baidu.
- Baiduspider-video: Rastreaba específicamente contenido de video para el motor de búsqueda de videos.
- Baiduspider-mobile: Maneja el rastreo de páginas específicas para dispositivos móviles para garantizar que cumplan con los estándares de compatibilidad móvil.
- Baiduspider-news: Se utiliza para indexar contenido en la sección de Noticias de Baidu.
Además, conocer estos agentes específicos permite un mejor control. Si su servidor tiene dificultades con un alto tráfico, puede optar por bloquear temporalmente el rastreador de imágenes para ahorrar ancho de banda para el rastreador web principal. Esta flexibilidad ayuda a mantener el rendimiento del sitio durante los períodos de tráfico pico sin perder toda la visibilidad de búsqueda.
El bloqueo selectivo de sub-rastreadores es una táctica útil para sitios de alto tráfico. Nos permite proteger la estabilidad del servidor al tiempo que garantiza que el contenido web más importante permanezca visible para los usuarios en China.
Equipo de SEO de Alien Road
Errores comunes en la configuración de robots.txt de Baiduspider
Un error común es bloquear los recursos necesarios para el renderizado de la página. Si Baiduspider no puede acceder a sus archivos JavaScript o CSS debido a una regla Disallow amplia, es posible que vea una página en blanco. Esto conduce a clasificaciones pobres porque el motor no puede verificar el contenido. Siempre asegúrese de que sus reglas ‘Allow’ cubran las carpetas que contienen los activos visuales y funcionales de su sitio.
Otro error involucra la ubicación o el nombre del archivo. El archivo debe llamarse ‘robots.txt’ en minúsculas y debe estar ubicado en el directorio raíz. Por ejemplo, una tienda de Shopify puede tener un robots.txt predeterminado que es difícil de editar. En tales casos, usar las herramientas de la plataforma para verificar qué páginas se están bloqueando realmente es esencial. Si el archivo se coloca en una subcarpeta como /blog/robots.txt, Baiduspider lo ignorará por completo.
Dónde comenzar esta semana
Comience iniciando sesión en su cuenta de la Plataforma de Recursos de Búsqueda de Baidu para ubicar la herramienta Robots en el menú ‘Gestión de rastreo’. Verifique que su archivo robots.txt actual se detecte correctamente y que ninguna página crítica esté bloqueada por error. Si identifica páginas que no deberían estar en los resultados de búsqueda, como páginas de búsqueda interna, agregue una regla de denegación para esas rutas de inmediato.
A continuación, actualice su archivo y use la plataforma para notificar a Baidu sobre el cambio. Monitoree el estado de indexación de su sitio durante los próximos siete días para asegurarse de que el rastreador siga las nuevas instrucciones. Verifique sus informes de frecuencia de rastreo para ver si el motor ahora está pasando más tiempo en sus páginas de alta prioridad. El monitoreo regular garantiza que su estrategia de control de acceso se mantenga alineada con sus objetivos de SEO.