GET, POST y cómo mostrar de forma segura más contenido de la web

Martes, 1 de noviembre de 2011

A medida que la web evoluciona, las capacidades de rastreo e indexación de Google también deben progresar.
Hemos mejorado nuestra indexación de Flash, hemos creado una infraestructura
más robusta llamada Caffeine e incluso hemos empezado a
rastrear formularios cuando tiene sentido. Ahora, especialmente con la creciente popularidad de JavaScript y AJAX, encontramos más páginas web que requieren solicitudes POST —ya sea para todo el contenido de la página o porque a las páginas les falta información y/o se ven completamente rotas sin los recursos devueltos por POST—. Para la Búsqueda de Google esto no es lo ideal, ya que cuando no descubrimos e indexamos correctamente el contenido, es posible que los usuarios no tengan acceso a los resultados más completos y relevantes.

Por lo general, recomendamos usar
GET
para recuperar los recursos que una página necesita, y este es, con diferencia, nuestro método de rastreo preferido. Hemos comenzado experimentos para reescribir solicitudes POST a GET, y aunque esto sigue siendo una estrategia válida en algunos casos, a menudo los contenidos devueltos por un servidor web para
GET frente a POST son completamente diferentes. Además, hay razones legítimas para usar POST (por ejemplo, puedes adjuntar más datos a una solicitud POST que a una GET). Por lo tanto, aunque las solicitudes GET siguen siendo mucho más comunes, para mostrar más contenido en la web, Googlebot ahora puede realizar solicitudes
POST cuando consideramos que es seguro y apropiado.

Tomamos precauciones para evitar realizar en un sitio cualquier tarea que pueda dar lugar a la ejecución de una acción de usuario no intencionada. Nuestras solicitudes POST sirven principalmente para rastrear recursos que una página solicita automáticamente, imitando lo que un usuario típico vería al abrir la URL en su navegador. Esto evolucionará con el tiempo a medida que encontremos mejores heurísticas, pero ese es nuestro enfoque actual.

Analicemos algunos escenarios de solicitudes POST que demuestran cómo estamos mejorando nuestro rastreo e indexación para evolucionar junto con la web.

Ejemplos de solicitudes POST de Googlebot

• Rastreo de una página mediante una redirección POST
• Rastreo de un recurso mediante una solicitud POST XMLHttpRequest: En este ejemplo paso a paso, mejoramos tanto la indexación de una página como su Vista previa instantánea siguiendo la XMLHttpRequest automática generada a medida que se procesa la página.

1. Google rastrea la URL yummy-sundae.html.
2. Google comienza a indexar yummy-sundae.html y, como parte de este proceso, decide intentar renderizar la página para comprender mejor su contenido y/o generar la Vista previa instantánea.
3. Durante el renderizado, yummy-sundae.html envía automáticamente una XMLHttpRequest para un recurso, hot-fudge-info.html, utilizando el método POST .
4. La URL solicitada a través de POST, hot-fudge-info.html, junto con su carga de datos, se añade a la cola de rastreo de Googlebot.
5. Googlebot realiza una solicitud POST para rastrear hot-fudge-info.html.
6. Google cuenta ahora con una representación precisa de yummy-sundae.html para las Vistas previas instantáneas. En ciertos casos, también podemos incorporar el contenido de hot-fudge-info.html en yummy-sundae.html.
7. Google completa la indexación de yummy-sundae.html.
8. El usuario busca “hot fudge sundae”.
9. Los algoritmos de Google ahora pueden determinar mejor cómo es relevante yummy-sundae.html para esta consulta, y podemos mostrar correctamente una instantánea de la página para las Vistas previas instantáneas.

Cómo mejorar la capacidad de rastreo e indexación de su sitio

Los consejos generales para crear sitios rastreables se encuentran en nuestro
Centro de ayuda. Para los webmasters que quieran ayudar a Google a rastrear e indexar su contenido y/o generar la Vista previa instantánea, aquí hay algunos recordatorios simples:

• Prefiera GET para recuperar recursos, a menos que haya una razón específica para usar
  POST.
• .
  Verifique que tengamos permiso para rastrear los recursos necesarios para renderizar su página. En el ejemplo anterior, si hot-fudge-info.html está bloqueado porrobots.txt
  , Googlebot no lo recuperará. De forma más sutil, si el código JavaScript que emite la XMLHttpRequest se encuentra en un archivo .jsC (o .js) externo bloqueado por robots.txt, no veremos la conexión entre yummy-sundae.html y hot-fudge-info.html, por lo que, incluso si este último no está bloqueado en sí mismo, es posible que eso no nos ayude mucho. Hemos visto cadenas de dependencias aún más complicadas en la práctica. Para ayudar a Google a entender mejor su sitio, casi siempre es mejor permitir que Googlebot rastree todos los recursos.
  Puedes comprobar si los recursos están bloqueados a través de
  Webmaster Tools
  Labs >
  Instant Previews.
• Asegúrate de devolver a Googlebot el mismo contenido que se muestra a los navegadores web de los usuarios.
  El cloaking
  (enviar contenido diferente a Googlebot que a los usuarios) es una infracción de nuestras
  Webmaster Guidelines
  porque, entre otras cosas, puede hacer que proporcionemos al usuario un resultado irrelevante; el contenido que el usuario ve en su navegador puede no coincidir en absoluto con lo que rastreamos e indexamos. Hemos visto numerosos POST ejemplos de solicitudes en los que un webmaster aplicó cloaking de forma no maliciosa (lo cual sigue siendo una infracción) y ese cloaking —incluso con los cambios más pequeños— provocó errores de JavaScript que impidieron una indexación precisa y arruinaron por completo el motivo por el cual recurrieron al cloaking en primer lugar. En resumen, si quieres que tu sitio sea apto para buscadores, el cloaking es una situación peliaguda que es mejor evitar.
  
  Para verificar que no estás haciendo cloaking por accidente, puedes utilizar
  Instant Previews
  dentro de Webmaster Tools, o intentar configurar la cadena User-Agent en tu navegador con algo como:

  Tu sitio no debería verse diferente después de un cambio así. Si ves una página en blanco, un error de JavaScript o si faltan partes de la página o son diferentes, significa que algo va mal.

• Recuerda incluir contenido importante (es decir, el contenido que te gustaría que se indexara) como texto, visible directamente en la página y sin requerir ninguna acción por parte del usuario para mostrarse. La mayoría de los motores de búsqueda se basan en texto y generalmente funcionan mejor con contenido basado en texto. Siempre estamos mejorando nuestra capacidad para rastrear e indexar contenido publicado de diversas formas, pero sigue siendo una buena práctica utilizar texto para la información importante.

Controlar tu contenido

Si deseas evitar que el contenido sea rastreado o indexado para Google Web Search,
robots.txt rules
las reglas tradicionales siguen siendo el mejor método. Para evitar Instant Preview en tus páginas, consulta nuestras
Instant Previews FAQ
que describen el Google Web Preview User-Agent y la etiqueta nosnippet meta tag.

De cara al futuro

Seguiremos esforzándonos por aumentar la exhaustividad de nuestro índice para que los usuarios puedan encontrar información más relevante. Y esperamos que nuestras capacidades de rastreo e indexación mejoren y evolucionen con el tiempo, al igual que la propia web. Por favor, háznos saber si tienes preguntas o inquietudes.

Escrito por
Pawel Aleksander Fedorynski,
Ingeniero de software, Equipo de indexación, y
Maile Ohye,
Líder técnico de programas para desarrolladores