¿Estás pensando en mudar tu sitio a un nuevo dominio? A muchos webmasters este proceso les parece intimidante.

Rastreo a través de formularios HTML

Viernes, 11 de abril de 2008

Google prueba constantemente nuevas ideas para mejorar nuestra cobertura de la web. Ya hacemos algunas cosas bastante inteligentes como escanear JavaScript y Flash para descubrir enlaces a nuevas páginas web, y hoy nos gustaría hablar sobre otra nueva tecnología con la que hemos comenzado a experimentar recientemente. En los últimos meses hemos estado explorando algunos formularios HTML para intentar descubrir nuevas páginas web y URLs que de otro modo no podríamos encontrar e indexar para los usuarios que buscan en Google. Específicamente, cuando encontramos un <form>

elemento en un sitio de alta calidad, podemos optar por hacer un pequeño número de consultas utilizando el formulario. Para los cuadros de texto, nuestras computadoras eligen automáticamente palabras del sitio que tiene el formulario; para los menús desplegables, casillas de verificación y botones de opción en el formulario, elegimos entre los valores del HTML. Habiendo elegido los valores para cada entrada, generamos e intentamos rastrear URLs que corresponden a una consulta potencial que un usuario pudo haber hecho. Si determinamos que la página web resultante de nuestra consulta es válida, interesante e incluye contenido que no está en nuestro índice, podemos incluirla en nuestro índice tal como lo haríamos con cualquier otra página web.
Ni que decir tiene que este experimento sigue las mejores prácticas de civismo en Internet. Solo un pequeño número de sitios particularmente útiles reciben este tratamiento, y nuestro agente de rastreo,el siempre amigable Googlebot , siempre cumple con las reglas de robots.txt,nofollow y noindex . Eso significa que si un formulario de búsqueda está prohibido en robots.txt, no rastrearemos ninguna de las URLs que generaría un formulario. De manera similar, solo recuperamos formularios GET

y evitamos formularios que requieran cualquier tipo de información del usuario. Por ejemplo, omitimos cualquier formulario que tenga una entrada de contraseña o que use términos comúnmente asociados con información personal como inicios de sesión, identificadores de usuario, contactos, etc. También somos conscientes del impacto que podemos tener en los sitios web y nos limitamos a un número muy pequeño de solicitudes para un sitio determinado.

Las páginas web que descubrimos en nuestro rastreo mejorado no se producen a expensas de las páginas web normales que ya forman parte del rastreo, por lo que este cambio no reduce el PageRank para tus otras páginas. Como tal, solo debería aumentar la exposición de tu sitio en Google. Este cambio tampoco afecta el rastreo, la clasificación o la selección de otras páginas web de manera significativa.
Este experimento es parte del esfuerzo más amplio de Google para aumentar su cobertura de la web. De hecho, durante mucho tiempo se ha pensado que los formularios HTML son la puerta de entrada a grandes volúmenes de datos más allá del alcance normal de los motores de búsqueda. Los términos Web profunda, Web oculta o
Web invisible

se han utilizado colectivamente para referirse a dicho contenido que hasta ahora ha sido invisible para los usuarios de los motores de búsqueda. Al rastrear mediante formularios HTML (y cumpliendo con robots.txt), podemos guiar a los usuarios de los motores de búsqueda hacia documentos que de otro modo no se encontrarían fácilmente en los motores de búsqueda, y proporcionar tanto a los webmasters como a los usuarios una experiencia de búsqueda mejor y más completa.