Primera cita con el Googlebot: Encabezados y compresión

Jueves, 6 de marzo de 2008

Nombre/User-Agent: Googlebot
Dirección IP:
Aprende a verificar a Googlebot
Buscando: Sitios web con contenido único y atractivo
Lo que espanta por completo: Violaciones de las
Directrices para webmasters
Googlebot —qué partidazo. Es
como si nos conocieran <head>, <body>, y hasta el alma. Probablemente
no busquen nada exclusivo; ven miles de millones de otros sitios (aunque compartimos nuestros datos
con otros bots también), pero esta noche realmente nos conoceremos como sitio web y rastreador.

Lo sé, nunca es bueno sobreanalizar una primera cita. Vamos a conocer a Googlebot un poco
más despacio, en una serie de publicaciones:

1. Nuestra primera cita (¡esta noche!): Encabezados que envía Googlebot, formatos de archivo que “nota”, si es
   mejor comprimir los datos
2. Juzgando su respuesta: Códigos de respuesta (301, 302), cómo manejan
   las redirecciones y If-Modified-Since
3. Próximos pasos: Seguir enlaces, hacer que rastreen más rápido o más lento (para que no se muestren demasiado
   intensos)

Y esta noche es solo la primera cita…

Googlebot: ACK

Sitio web: ¡Googlebot, estás aquí!

Googlebot: Lo estoy.

Sitio web: ¡Esos encabezados son muy llamativos! ¿Rastrearías con los mismos encabezados si mi sitio
estuviera en EE. UU., Asia o Europa? ¿Alguna vez usas encabezados diferentes?

Googlebot: Mis encabezados suelen ser consistentes en todo el mundo. Intento ver cómo se ve
una página para el idioma y la configuración predeterminados del sitio. A veces el
User-Agent es diferente, por ejemplo, las solicitudes de AdSense usan
Mediapartners-Google:

O para la búsqueda de imágenes:

Las solicitudes inalámbricas suelen tener agentes de usuario específicos del operador, mientras que las solicitudes RSS de Google Reader
incluyen información adicional como el número de suscriptores.

Suelo evitar las cookies (por lo que no hay Cookie: encabezado), ya que no quiero que el contenido
se vea demasiado afectado por información específica de la sesión. Y, si un servidor utiliza un ID de sesión en una URL dinámica
en lugar de una cookie, normalmente puedo darme cuenta de esto, para no terminar rastreando
la misma página un millón de veces con un millón de ID de sesión diferentes.

Sitio web: Soy muy complejo. Tengo muchos tipos de archivo. Tus encabezados dicen
Accept: */*. ¿Indexas todas las URL o ciertas extensiones de archivo se filtran automáticamente?

Googlebot: Eso depende de lo que esté buscando. Si estoy indexando para la Búsqueda web normal
y veo enlaces a MP3 y videos, probablemente no los descargaré. Del mismo modo, si veo un JPG, lo
trataré de manera diferente a un enlace HTML o PDF. Por ejemplo, es mucho menos probable que un JPG
cambie con frecuencia que un HTML, por lo que verificaré los cambios en el JPG con menos frecuencia para ahorrar ancho de banda.
Mientras tanto, si estoy buscando enlaces como Google Scholar, estaré mucho más interesado en el
artículo en PDF que en el archivo JPG. Descargar doodles (como JPGs) y videos de perros haciendo monopatín
distrae a un erudito; ¿estás de acuerdo?

Website: Sí, pueden distraer. Admiro tu dedicación. Me encantan los doodles (JPGs)
y me resulta difícil resistirme a ellos.

Googlebot: Yo también; no siempre soy tan académico. Cuando rastreo para la búsqueda de imágenes, estoy muy
interesado en los JPGs. Y para noticias, busco principalmente HTML e imágenes cercanas.

También hay un montón de extensiones (exe, dll, zip, dmg…) que tienden a ser grandes y menos útiles
para un motor de búsqueda.

Sitio web: Si vieras mi URL, https://www.example.com/page1.LOL111, ¿la rechazarías
(con un puchero) solo porque contiene una extensión de archivo desconocida?

Googlebot: Sitio web, déjame darte un poco más de contexto. Después de descargar un archivo,
uso el encabezado Content-Type para verificar si realmente es HTML, una imagen, texto u
otra cosa. Si es un tipo de datos especial como un archivo PDF, un documento de Word o una hoja de cálculo de Excel,
me aseguro de que esté en el formato válido y extraigo el contenido de texto. Tal vez tenga un virus;
nunca se sabe. Si el documento o el tipo de datos está realmente corrupto, normalmente no hay mucho que hacer además
de descartar el contenido.

Por lo tanto, si estoy rastreando https://www.example.com/page1.LOL111 con una extensión de archivo desconocida,
es probable que empiece a descargarlo. Si no puedo averiguar el tipo de contenido
a partir del encabezado, o es un formato que no indexamos (por ejemplo, mp3), se dejará a un lado.
De lo contrario, procedemos a indexar el archivo.

Sitio web: Mis disculpas por escrutar tu estilo, Googlebot, pero noté que tus encabezados
Accept-Encoding dicen:

¿Puedes explicarme estos encabezados?

Googlebot: Claro. Todos los principales motores de búsqueda y navegadores web admiten la compresión gzip para
el contenido para ahorrar ancho de banda. Otras entradas que podrías ver aquí incluyen x-gzip (el
mismo que gzip), deflate (que también admitimos), e
identity (ninguno).

Sitio web: ¿Puedes hablar más sobre la compresión de archivos y
Accept-Encoding: gzip,deflate? Muchas de mis URL consisten en grandes archivos Flash e imágenes impactantes, no solo HTML. ¿Le ayudaría a rastrear más rápido si comprimo mis archivos más grandes?

Googlebot: No hay una respuesta sencilla a esta pregunta. En primer lugar, muchos formatos de archivo, como swf (Flash), jpg, png, gif y pdf, ya están comprimidos (también existen optimizadores de Flash especializados).

Sitio web: ¿Tal vez he estado comprimiendo mis archivos Flash y ni siquiera lo sabía? Obviamente soy muy eficiente.

Googlebot: Tanto Apache como IIS tienen opciones para habilitar la compresión gzip y deflate, aunque hay un coste de CPU involucrado por el ancho de banda ahorrado. Por lo general, solo se habilita para contenido de texto HTML/CSS/PHP fácilmente compresible. Y solo se usa si el navegador del usuario o yo (un rastreador de motores de búsqueda) lo permitimos. Personalmente, prefiero gzip sobre deflate. Gzip es una codificación ligeramente más robusta; constantemente hay una suma de comprobación y una cabecera completa, lo que me da menos margen de adivinación que con deflate. Aparte de eso, son algoritmos de compresión muy similares.

Si te sobra algo de CPU en tus servidores, podría valer la pena experimentar con la compresión (enlaces:
Apache,
IIS). Pero, si sirves contenido dinámico y tus servidores ya tienen una carga de CPU pesada, es posible que prefieras esperar.

Sitio web: Excelente información. Me alegro mucho de que hayas venido esta noche; ¡menos mal que mi
robots.txt lo permitió. ¡Ese archivo puede ser como un padre sobreprotector!

Googlebot: Ah, sí; conocer a los padres, el robots.txt. He conocido a muchos intensos. Algunos son realmente páginas de error HTML en lugar de robots.txt válidos. Algunos tienen redirecciones infinitas por todas partes, tal vez a sitios totalmente no relacionados, mientras que otros son simplemente enormes y tienen miles de URL diferentes listadas individualmente. Aquí hay un patrón desafortunado. El sitio normalmente está ansioso por que lo rastree:

Luego, durante un momento pico con alto tráfico de usuarios, el sitio cambia el robots.txt a algo restrictivo:

El problema con el cambio de archivo robots.txt anterior es que, una vez que veo el robots.txt restrictivo, es posible que tenga que empezar a desechar el contenido que ya he rastreado en el índice. Y luego tengo que volver a rastrear una gran cantidad de contenido una vez que se me permita rastrear el sitio nuevamente. Al menos un código de respuesta 503 habría sido temporal.

Normalmente solo vuelvo a comprobar robots.txt una vez al día (de lo contrario, en muchos sitios de alojamiento virtual, gastaría una gran parte de mis recuperaciones solo obteniendo robots.txt, y ninguna cita quiere “conocer a los padres” con tanta frecuencia). Para los webmasters, intentar controlar la tasa de rastreo mediante el intercambio de robots.txt suele ser contraproducente.
establecer la velocidad en “más lenta”
en Webmaster Tools.

Googlebot: Sitio web, gracias por todas tus preguntas, has sido maravilloso, pero voy a tener que decir: “FIN, mi amor”.

Sitio web: Oh, Googlebot… ACK/FIN.
🙂

Escrito por Maile Ohye como el sitio web, Jeremy Lilley como el Googlebot