Lunes, 12 de agosto de 2019
La mayor parte del tiempo, nuestro motor de búsqueda funciona correctamente. Nuestros equipos trabajan duro para prevenir problemas técnicos que puedan afectar a los usuarios que buscan en la web, o a los webmasters cuyos sitios indexamos y ofrecemos a los usuarios. Del mismo modo, los sistemas subyacentes que utilizamos para potenciar el motor de búsqueda también funcionan según lo previsto la mayor parte del tiempo. Cuando ocurren pequeñas interrupciones, son en gran medida invisibles para cualquier persona excepto para nuestros equipos que se aseguran de que nuestros productos estén en funcionamiento. Sin embargo, como todos los sistemas complejos, a veces pueden ocurrir interrupciones más grandes, lo que puede provocar interrupciones tanto para los usuarios como para los creadores de sitios web.
En los últimos meses, ocurrió una situación de este tipo con nuestros sistemas de indexación, lo que tuvo un efecto dominó en algunas otras partes de nuestra infraestructura. Si bien trabajamos lo más rápido posible para remediar la situación, nos disculpamos por la interrupción, ya que nuestro objetivo es proporcionar continuamente productos de alta calidad a nuestros usuarios y al ecosistema web.
Desde entonces, hemos analizado la situación más de cerca y con cuidado. En el proceso, aprendimos algunas lecciones que nos gustaría compartir con ustedes hoy. En esta publicación de blog, profundizaremos en lo que sucedió, aclararemos cómo planeamos comunicarnos mejor si tales cosas suceden en el futuro y recordaremos a los propietarios de sitios web los canales que pueden usar para comunicarse con nosotros.
Entonces, ¿qué pasó hace unos meses?
En abril, tuvimos varios problemas relacionados con nuestro índice. El índice de búsqueda es la base de datos que contiene los cientos de miles de millones de páginas web que rastreamos en la web y que creemos que podrían responder a algunas de las consultas de nuestros usuarios. Cuando un usuario introduce una consulta en el motor de búsqueda de Google, nuestros algoritmos de clasificación examinan esas páginas en nuestro índice de búsqueda para encontrar los resultados más relevantes y útiles en una fracción de segundo. Aquí hay más información sobre lo que sucedió.
1. El problema de la indexación
Para empezar, perdimos temporalmente parte del índice de búsqueda.
Espera… ¿Qué? ¿Qué quieres decir con “perdimos parte del índice”? ¿Es eso siquiera posible?
Básicamente, al ofrecer resultados de búsqueda a los usuarios, para acelerar la velocidad del servicio, la consulta del usuario solo “viaja” hasta el centro de datos más cercano que admite el producto Google Search, desde el cual se genera la página de resultados del motor de búsqueda (SERP). Por lo tanto, cuando hay modificaciones en la composición del índice (algunas páginas añadidas y eliminadas, documentos combinados u otros tipos de modificación de datos), esas modificaciones deben reflejarse en todos esos centros de datos. La consecuencia es que a los usuarios de todo el mundo se les sirven sistemáticamente páginas de la versión más reciente del índice.
fuente
Mantener el índice unificado en todos esos centros de datos no es una tarea trivial. Para grandes servicios orientados al usuario, podemos implementar actualizaciones comenzando en un centro de datos y expandiéndonos hasta que se actualicen todos los centros de datos relevantes. Para piezas sensibles de infraestructura, podemos extender un despliegue durante varios días, intercalándolos entre instancias en diferentes regiones geográficas.
fuente.
Entonces, mientras realizábamos algunos cambios planificados en el índice de búsqueda, el 5 de abril partes del sistema de implementación se rompieron, ¡nada menos que un viernes! Más específicamente: mientras actualizábamos el índice en algunos de nuestros centros de datos, una pequeña cantidad de documentos terminaron siendo eliminados del índice por accidente. Por lo tanto: “perdimos parte del índice”.
Afortunadamente, nuestros
ingenieros de guardia
detectaron el problema con bastante rapidez, al mismo tiempo que comenzamos a notar comentarios en las redes sociales (¡gracias a todos los que nos notificaron ese fin de semana!). Como resultado, pudimos comenzar a revertir el índice de búsqueda a su estado estable anterior en todos los centros de datos solo unas pocas horas después de que se descubriera el problema (mantenemos copias de seguridad de nuestros índices en caso de que ocurran tales eventos).
Comunicamos el domingo,
7 de abril
que éramos conscientes del problema y que las cosas comenzaban a volver a la normalidad. A medida que los centros de datos volvían progresivamente a un índice estable, continuamos actualizando en Twitter (el
8 de abril,
9 de abril), hasta que estuvimos seguros de que todos los centros de datos habían vuelto por completo a una versión completa del índice el
11 de abril.
2. El problema de Search Console
Search Console es el conjunto de informes y herramientas que cualquier webmaster puede utilizar para acceder a datos sobre el rendimiento de su sitio web en la Búsqueda. Por ejemplo, muestra cuántas impresiones y clics recibe un sitio web en los resultados de búsqueda orgánicos todos los días, o información sobre qué páginas de un sitio web se incluyen y se excluyen del índice de búsqueda.
Como consecuencia de que el índice de búsqueda tuviera los problemas que describimos anteriormente, Search Console también comenzó a mostrar inconsistencias. Esto se debe a que algunos de los datos que surgen en Search Console se originan en el propio índice de búsqueda:
- informe de cobertura de índice
depende de que el índice de búsqueda sea coherente en todos los centros de datos.
cuando almacenamos una página en el índice de búsqueda, podemos anotar la entrada con señales clave sobre la página, como el hecho de que la página contiene marcado de resultados enriquecidos, por ejemplo. Por lo tanto, un problema con el índice de búsqueda puede tener un impacto en los - informes de resultados enriquecidos
en Search Console.
Básicamente, muchos informes individuales de Search Console leen datos de una base de datos dedicada. Esa base de datos se construye parcialmente utilizando información que proviene del índice de búsqueda. Como tuvimos que volver a una versión anterior del índice de búsqueda, también tuvimos que pausar la actualización de la base de datos de Search Console. Esto dio como resultado datos estancados para algunos informes (y fluctuaciones en otros, como la herramienta de inspección de URL).
Informe de cobertura de índice para páginas indexadas, que muestra un ejemplo de los problemas de frescura de datos en Search Console en abril de 2019, con un tiempo más largo entre 2 actualizaciones que el que se observa habitualmente.
fr
tweet
– de que la Search Console estaba experimentando problemas y de que estábamos trabajando para solucionarlo, y completamos nuestras correcciones el 28 de abril (día en que los informes comenzaron a recopilar datos nuevos nuevamente, ver gráfico arriba). Comunicamos en Twitter el 30 de abril que el problema se había resuelto-
tweet.
3. Otros problemas no relacionados con el error principal de indexación
Google Search depende de una serie de sistemas que funcionan en conjunto. Si bien algunos de esos sistemas pueden estar estrechamente vinculados entre sí, en algunos casos diferentes partes del sistema experimentan problemas no relacionados al mismo tiempo.
En el presente caso por ejemplo, casi al mismo tiempo que el error principal de indexación explicado anteriormente, también tuvimos breves problemas para recopilar contenido nuevo de Google News. Además, al renderizar páginas, ciertas URLs comenzaron a redirigir a Googlebot a otras páginas no relacionadas. Estos problemas no estaban relacionados en absoluto con el error de indexación y se resolvieron rápidamente (tweet 1
y tweet 2).
Nuestra comunicación y cómo pretendemos hacerlo mejor
Además de comunicarnos en las redes sociales (como se destacó anteriormente) durante esas pocas semanas, también dimos más detalles a los webmasters en otros 2 canales: Search Console, así como el Centro de ayuda de Search Console.
En el Centro de ayuda de Search Console
Actualizamos nuestra página de ayuda “Anomalías de datos en Search Console” después de que el problema se identificó por completo. Esta página se utiliza para comunicar información sobre interrupciones de datos en nuestro servicio Search Console cuando el impacto afecta a un gran número de propietarios de sitios web.
En Search Console
Debido a que sabemos que no todos nuestros usuarios leen las redes sociales o la página externa del Centro de ayuda, también agregamos anotaciones en los informes de Search Console para notificar a los usuarios que los datos pueden no ser precisos (ver imagen a continuación). Agregamos esta información después de la resolución de los errores. Al hacer clic en “ver aquí para más detalles”, se envía a los usuarios a la página “Anomalías de datos” en el Centro de ayuda.
Comunicación en el futuro
Cuando algo falla en Google, tenemos una sólida cultura de “postmortem”: crear un documento para debatir sobre la falla e intentar evitar que vuelva a suceder la próxima vez. Todo el proceso se describe con más detalle en
el sitio web de Google Site Reliability Engineering.
A raíz de los problemas de indexación de abril, incluimos en el postmortem cómo comunicarnos mejor con los webmasters en caso de fallas importantes del sistema. Nuestras decisiones clave fueron:
- Explorar formas de compartir más rápidamente información dentro de la propia Search Console sobre errores generalizados, y hacer que esa información sirva como el punto de referencia principal para que los webmasters la consulten en caso de que sospechen de interrupciones.
- Publicar con mayor prontitud en la página de anomalías de datos de Search Console, cuando sea relevante (si la perturbación se va a ver a largo plazo en los datos de Search Console).
- Continuar tuiteando lo más rápido posible sobre dichos problemas para tranquilizar rápidamente a los webmasters de que somos conscientes de ello y que el problema está de nuestro lado.
Esos compromisos deberían hacer que situaciones similares potenciales en el futuro sean más transparentes para los webmasters en general.
Poniendo en práctica nuestras resoluciones: el caso de estudio de “nuevas URLs no indexadas”
El 22 de mayo, probamos nuestra nueva estrategia de comunicación, ya que experimentamos otro problema. Esto es lo que sucedió: al procesar ciertas URLs, nuestro sistema de gestión de duplicados se quedó sin memoria tras una actualización planificada de la infraestructura, lo que provocó que todas las URLs entrantes dejaran de procesarse.
Aquí hay una cronología de cómo pensamos sobre la comunicación, siguiendo los 3 puntos destacados justo arriba:
- Notamos el problema (alrededor de las 5:30 a. m., hora de California, el 22 de mayo)
Nosotros
tuiteamos
sobre el problema en curso (alrededor de las 6:40 a. m., hora de California, el 22 de mayo)
Nosotros
tuiteamos
sobre la resolución (alrededor de las 10:00 p. m., hora de California, el 22 de mayo) - Evaluamos actualizar la página “Anomalías de datos” en el Centro de ayuda, pero decidimos no hacerlo ya que no esperábamos ningún impacto a largo plazo para la mayoría de los datos de Search Console de los webmasters a largo plazo.
- La confusión que este problema creó para muchos confirmó nuestras conclusiones anteriores de que necesitamos una manera de señalar con mayor claridad en la propia Search Console que podría haber una interrupción en uno de nuestros sistemas que podría afectar a los webmasters. Dicha solución podría tardar más en implementarse. Nos comunicaremos sobre este tema en el futuro, a medida que tengamos más noticias.
La semana pasada, también tuvimos otro problema de indexación. Al igual que el 22 de mayo, nosotros
degeden
para informar a la gente de que hubo un problema, que estábamos trabajando para solucionarlo y cuándo se resolvió el problema.
Cómo depurar y comunicarse con nosotros
Esperamos que esta publicación aporte más claridad sobre lo complejos que son nuestros sistemas y cómo a veces pueden fallar, y también le ayude a entender cómo nos comunicamos sobre estos asuntos. Pero aunque esta publicación se centra en una interrupción generalizada de nuestros sistemas, es importante tener en cuenta que la mayoría de los problemas de indexación de sitios web son causados por la configuración de un sitio web individual, lo que puede crear dificultades para que la Búsqueda de Google indexe ese sitio web correctamente. Para esos casos, todos los webmasters pueden depurar problemas usando
Search Console y nuestro
Help center. Después de hacerlo, si aún cree que un problema no proviene de su sitio o no sabe cómo resolverlo, venga a hablar con nosotros y nuestra comunidad, siempre queremos recibir comentarios de nuestros usuarios. Aquí le mostramos cómo señalarnos un problema:
- Consulte nuestra
Webmaster Community, a veces otros webmasters han destacado un problema que también afecta a su sitio. - ¡En persona! Nos encanta el contacto, venga a hablar con nosotros a events.
- ¡Dentro de nuestros productos! La herramienta de comentarios de Search Console es muy útil para nuestros equipos.
- Twitter y
YouTube!
Cómo lo aplicamos
Google announcements age. We keep this post here for the record, and we note for clients whether the behaviour it describes still applies today or has since been superseded.
Servicios relacionados