El número de páginas que rastrea Googlebot

Viernes, 10 de noviembre de 2006

El Los informes de actividad de Googlebot en Webmaster Tools te muestran el número de páginas de tu sitio que Googlebot ha rastreado en los últimos 90 días. Hemos visto que algunos de ustedes se preguntan por qué este número puede ser mayor que el número total de páginas en sus sitios.
Googlebot rastrea las páginas de tu sitio basándose en varios factores, entre ellos:

páginas que ya conoce

• enlaces desde otras páginas web (dentro de tu sitio y en otros sitios)
• páginas enumeradas en tu archivo Sitemap
• Más específicamente, Googlebot no accede a páginas, accede a URLs. Y a menudo se puede acceder a la misma página a través de varias URLs. Considera la página de inicio de un sitio a la que se puede acceder desde las siguientes cuatro URLs:

https://www.example.com/

• https://www.example.com/index.html
• https://example.com
• https://example.com/index.html
• Aunque todas las URLs conducen a la misma página, las cuatro URLs pueden utilizarse en enlaces a la página. Cuando Googlebot sigue estos enlaces, se añade un recuento de cuatro al informe de actividad.

Muchos otros escenarios pueden dar lugar a múltiples URLs para la misma página. Por ejemplo, una página puede tener varios anclajes con nombre, como:

https://www.example.com/mypage.html#heading1

• https://www.example.com/mypage.html#heading2
• https://www.example.com/mypage.html#heading3
• Y a las páginas generadas dinámicamente a menudo se puede llegar mediante múltiples URLs, como:

https://www.example.com/furniture?type=chair&brand=123

• https://www.example.com/hotbuys?type=chair&brand=123
• Como puedes ver, si consideras que cada página de tu sitio puede tener múltiples URLs que conducen a ella, el número de URLs que rastrea Googlebot puede ser considerablemente mayor que el número total de páginas de tu sitio.

Por supuesto, tú (y nosotros) solo queremos que se devuelva una versión de la URL en los resultados de búsqueda. No te preocupes, esto es exactamente lo que sucede. Nuestros algoritmos seleccionan una versión para incluirla, y tú puedes aportar información en este proceso de selección.

Redirigir a la versión preferida de la URL

Puedes hacer esto usando

301 (permanente)
redirección . En el primer ejemplo que muestra cuatro URLs que apuntan a la página de inicio de un sitio, es posible que desees redirigir index.html a www.example.com/. Y es posible que desees redirigir example.com a www.example.com para que cualquier URL que comience con una versión sea redirigida a la otra versión. Ten en cuenta que puedes hacer esta última redirección con lafunción Dominio preferido
en webmaster tools. (Si también usas una redirección, asegúrate de que coincida con lo que establezcas para el dominio preferido.) 301 Bloquear las versiones no preferidas de una URL con un archivo robots.txt

Para páginas generadas dinámicamente, es posible que desees bloquear la versión no preferida usando

pattern matching
en tu archivo robots.txt. (Ten en cuenta que no todos los motores de búsqueda admiten pattern matching, así que consulta las directrices de cada bot de motor de búsqueda que te interese). Por ejemplo, en el tercer ejemplo que muestra dos URLs que apuntan a una página sobre las sillas disponibles de la marca 123, la sección “hotbuys” rota periódicamente y el contenido siempre está disponible desde una ubicación principal y permanente. En ese caso, es posible que desees indexar la primera versión y bloquear la versión
“hotbuys”. Para hacer esto, añade lo siguiente a tu archivo robots.txt:Para asegurarte de que esta regla realmente bloquee y permita lo que pretendes, utiliza la herramienta de análisis de robots.txt en Webmaster Tools. Simplemente añade esta regla a la sección robots.txt en esa página, enumera las URLs que deseas comprobar en la sección “Test URLs” y haz clic en el botón Comprobar. Para este ejemplo, verías un resultado como este:

No te preocupes por los enlaces a anclajes, porque aunque Googlebot rastreará cada enlace, nuestros algoritmos indexarán la URL sin el anclaje.

Y si no proporcionas información como la descrita anteriormente, nuestros algoritmos hacen un trabajo excelente al elegir una versión para mostrar en los resultados de búsqueda.

El número de páginas que rastrea Googlebot | Alien Road