Date with Googlebot, Part II: HTTP status codes and If-Modified-Since

Jueves, 27 de noviembre de 2008

Nuestra
cita con Googlebot
fue maravillosa, pero es difícil saber si nosotros, los sitios web, dijimos lo correcto. Devolvimos un
301 redireccionamiento permanente, pero ¿deberíamos haber respondido con un 302 redireccionamiento
temporal (para que sepa que nos hacemos los difíciles)? Si enviamos algunos nuevos 404 errores,
¿volverá a llamar Googlebot a nuestro sitio? ¿Deberíamos admitir la cabecera
If-Modified-Since? Estas preguntas pueden ser confusas, al igual que el primer amor. Así
que, sin más preámbulos, preguntemos al experto, Googlebot, y descubramos cómo juzgó nuestra respuesta
(código).

Queridísimo Googlebot,
Recientemente, hice una limpieza de primavera en mi sitio web y eliminé un par de páginas antiguas y huérfanas.
Ahora devuelven el 404 código “Página no encontrada”. ¿Está bien o te he confundido?

Frankie O’Fore

Estimado Frankie:

404 Los errores son la forma estándar de decirme que una página ya no existe. No me
molestará; es normal que las páginas antiguas se eliminen de los sitios web o se actualicen con contenido más fresco.
La mayoría de los sitios web mostrarán un puñado de 404 errores en el Diagnóstico de rastreo en Webmaster Tools. Realmente no es gran cosa. Mientras tengas una buena arquitectura de sitio con enlaces a todo tu contenido indexable, estaré feliz, porque significa que puedo encontrar todo lo que necesito.

Pero no lo olvides, no soy solo yo quien visita tu sitio web; también puede haber humanos que
vean estas páginas. Si solo tienes un mensaje muy simple de “página 404 no encontrada”, los visitantes que
no sean tan expertos podrían desconcertarse. Hay muchas maneras de hacer que tu 404 página sea
más amigable; una rápida es nuestro 404 widget en Webmaster Tools, que ayudará
a dirigir a las personas al contenido que sí existe. Para obtener más información, puedes leer la publicación del blog. La mayoría
de las empresas de alojamiento web, grandes y pequeñas, te permitirán personalizar tu 404 página (y
también otros códigos de respuesta).

Con amor y besos,
Googlebot

Hola, Googlebot:
Estaba leyendo tu respuesta a Frankie de arriba y me surgieron un par de preguntas.
¿Qué pasa si alguien enlaza a una página que ya no existe? ¿Cómo puedo asegurarme de que mis visitantes
sigan encontrando lo que buscan? Además, ¿qué pasa si simplemente muevo algunas páginas? Me gustaría organizar
mejor mi sitio, pero me preocupa que te confundas. ¿Cómo puedo ayudarte?

Esperando tu respuesta,
Little Jimmy

Hola, Jimmy:

Fingimos que no hay anacronismos en tu carta y vayamos al grano. En primer lugar, veamos los enlaces procedentes de otros sitios. Obviamente, estos pueden ser una gran fuente de tráfico y no querrás que los visitantes se encuentren con un mensaje poco amigable de “Página no encontrada”. Por lo tanto, puedes aprovechar el poder del poderoso redireccionamiento.

Hay dos tipos de redireccionamiento:301 y 302. En realidad, hay
muchos más, pero estos son los dos de los que nos ocuparemos ahora. Al igual que 404,
301 y 302 son diferentes tipos de códigos de respuesta que puedes enviar a los usuarios
y a los rastreadores de los motores de búsqueda. Ambos son redireccionamientos, pero uno 301 es permanente y el otro
302 es temporal. Un 301 redireccionamiento me indica que, independientemente de lo que solía ser esta página, ahora vive en otro lugar. Esto es perfecto para cuando estás reorganizando tu sitio y también ayuda con los enlaces externos. Cada vez que veo un 301, actualizaré todas las referencias
a esa página antigua con la nueva que me has indicado. ¿No es así de fácil?

Si no sabes por dónde empezar con los redireccionamientos, déjame ayudarte a empezar. Depende de tu servidor web, pero aquí tienes algunas búsquedas que pueden resultarte útiles:

• Apache:
  301 redirect apache
• IIS:
  301 redirect iis

También puedes consultar tu manual o los archivos README que venían con tu servidor.

Como alternativa a un redireccionamiento, puedes enviar un correo electrónico al webmaster del sitio que te enlaza y pedirle que actualice su enlace. ¿No estás seguro de qué sitios te enlazan? No desesperes: mis compañeros humanos han facilitado las cosas. En la sección “Enlaces” de Webmaster Tools, puedes introducir una URL específica en tu sitio para determinar quién lo enlaza.

Mis compañeros humanos también
acaban de lanzar una herramienta
que muestra las URL que enlazan a páginas inexistentes en tu sitio.

Informativamente tuyo,
Googlebot

Querido Googlebot:
Tengo un problema: vivo en una parte muy dinámica de la web y sigo cambiando de opinión sobre
las cosas. Cuando me haces preguntas, nunca respondo de la misma manera dos veces: ¡mis temas principales cambian
cada hora y obtengo contenido nuevo todo el tiempo! Pareces un tipo directo que quiere
respuestas directas. ¿Cómo puedo decirte cuándo cambian las cosas sin confundirte?

Temp O’Rary

Estimado Temp:

Le acabo de decir al pequeño Jimmy que 301 los redireccionamientos son la mejor manera de informar a un Googlebot
sobre tu nueva dirección, pero lo que buscas es un 302.

Una vez que estás indexado, es la forma educada de indicar a tus visitantes que tu dirección sigue siendo la correcta, pero que el contenido se puede encontrar temporalmente en otro lugar. En estas situaciones, un
302 (o el más raro 307 redireccionamiento temporal) sería mejor. Por ejemplo,
orkut redirige desde https://orkut.com a
https://google.com/accounts/login?service=orkut, que no es una página que los humanos
considerarían particularmente útil al buscar Orkut.

Para empezar, está en un dominio diferente. Por lo tanto, se ha utilizado un 302 para indicarme que todo el contenido y las propiedades de enlace de la URL no deben actualizarse al destino; es simplemente
una página temporal.

Por eso, cuando buscas orkut, ves orkut.com y no esa URL más larga.

Recuerda: la comunicación sencilla es la clave de cualquier relación.

Tu amigo,
Googlebot

Capitán Googlebot:
Soy el tipo de sitio al que le gusta reinventarse. ¡He notado que los enlaces hacia mí en los sitios de mis amigos apuntan a URL de las que me deshice hace varios rediseños! Había configurado 301
redireccionamientos a mis nuevas URL para esas páginas, pero después de eso 301 redireccioné las URL más nuevas
a mi siguiente versión. Ahora me temo que si sigues sus indicaciones cuando vengas a rastrear, terminarás siguiendo una cadena de 301 redireccionamientos tan larga que al final ya no vendrás a llamar.

Ethel Binky

Estimada Ethel:
Parece que has configurado algunas URL que redirigen a más redireccionamientos… bueno, ¡vaya! En
pequeñas cantidades, estos “redireccionamientos repetidos” son comprensibles, pero puede valer la pena considerar por qué
los estás usando en primer lugar. Si eliminas los 301 redireccionamientos del medio
y me envías directamente al destino final en todos ellos, nos ahorrarás a ambos un montón
de tiempo y solicitudes HTTP. Pero no pienses solo en nosotros. Otras personas se cansas de ver el mismo
viejo juego de ‘conectando…. cargando … conectando…’ en su barra de estado.
Ponte en su lugar: si tu cadena de redireccionamientos empieza a parecer bastante larga, los usuarios
pueden temer que los hayas metido en un bucle infinito. Tanto los bots como los humanos pueden
asustarse con ese tipo de “compromiso eterno”. En su lugar, intenta deshacerte de esos redireccionamientos encadenados o, al menos, mantenlos cortos. ¡Piensa en los humanos!]

fr5v

Atentamente,
Googlebot

Querido Googlebot,
Sé que debes de quererme; hasta me pides archivos sin modificar, como mi tesis universitaria que no ha cambiado en 10 años. ¡Empieza a ser una verdadera molestia! ¿Hay algo que pueda hacer para evitar que ocupes mi preciado ancho de banda?

Janet Crinklenose

Janet, Janet, Janet,
Parece que te vendría bien aprender una nueva frase: 304 (Not Modified). Si ya he visto una URL antes, inserto un If-Modified-Since en la cabecera de mi petición. Esta línea también incluye una cadena de fecha con formato HTTP. Si no quieres enviarme otra copia más de ese archivo, defiéndete y devuelve una cabecera HTTP normal con el estado
304 (Not Modified)! Me gusta la información, y esto también cuenta. Cuando haces eso, no hay necesidad de enviarme una copia del archivo; lo que significa que no desperdicias tu ancho de banda, y yo no siento que me estés encasquetando lo mismo de siempre.

Probablemente notarás que muchos navegadores y proxies también dicen If-Modified-Since
en sus cabeceras. Así podrás ir por buen camino para frenar esa molesta factura de ancho de banda.

¡Ahora sal ahí fuera y ahorra un poco de ancho de banda!
El buen viejo Googlebot

¡Googlebot ha sido de gran ayuda! Ahora sabemos cómo responder mejor a los usuarios y motores de búsqueda. Sin embargo, la próxima vez que nos reunamos, será el momento de sentarnos a tener una buena y larga charla sincera con el robot (Cita con Googlebot: ¡La Parte III llegará pronto!).

Según lo contado a Chewy [Trewhella], Developer Advocate