Consejos de eficiencia de BigQuery para las exportaciones de datos masivos de Search Console

Lunes, 5 de junio de 2023

Search Console exportación de datos masivos es una forma potente de llevar los datos de rendimiento de búsqueda de su sitio web a BigQuery para aumentar las capacidades de almacenamiento, análisis e informes. Por ejemplo, después de exportar los datos, puede realizar agrupaciones de consultas y URL, ejecutar análisis en consultas de búsqueda de cola larga y combinar la búsqueda con otras fuentes de datos. También puede optar por conservar los datos durante el tiempo que los necesite.

Al utilizar exportaciones de datos masivos, es importante tomar decisiones informadas al gestionar los costos de procesamiento y almacenamiento de datos. No hay costos asociados con Search Console para exportar los datos; sin embargo, asegúrese de leer los precios de BigQuery para comprender por qué se le facturará. En esta publicación, analizaremos consejos para ayudarle a aprovechar al máximo los nuevos datos sin incurrir en costos significativos.

Si aún no ha configurado una exportación de datos masivos, consulte la guía paso a paso
en el centro de ayuda de Search Console. Para obtener una descripción general de los datos disponibles a través de la exportación, consulte el video incrustado aquí.

Crear alertas y restricciones de facturación

Al considerar sus costos, puede ser útil pensar en cuánto estaría dispuesto a gastar. Es probable que la respuesta a esa pregunta sea diferente entre el almacenamiento, el análisis y la supervisión. Por ejemplo, es posible que esté dispuesto a pagar una cantidad determinada para asegurarse de almacenar todos sus datos, pero menos para crear una plataforma de informes. Mientras piensa en eso, es posible que desee establecer un presupuesto mensual para invertir en datos de búsqueda.

Una vez que tenga en mente una cantidad de presupuesto, puede crear una alerta de presupuesto de Google Cloud
para evitar sorpresas en su factura. También puede establecer reglas de umbral que activen notificaciones por correo electrónico cuando se esté acercando a la cantidad de su presupuesto.

Para mayor protección, también puede restringir el número de bytes facturados
para una consulta. Si hace eso, el número de bytes que leerá la consulta se estima antes de la ejecución de la misma. Si el número de bytes estimados supera el límite, la consulta falla sin incurrir en ningún cargo.

No cree paneles directamente sobre datos sin procesar

BigQuery es rápido y es tentador vincular su panel directamente a las tablas exportadas de Search Console. Pero para sitios grandes, este conjunto de datos es muy grande (especialmente con consultas a lo largo del tiempo). Si crea un panel que recalcula la información de resumen en cada vista y la comparte dentro de su empresa, esto acumulará rápidamente grandes costos de consulta.

Para evitar estos costos, considere preagregar los datos de cada carga diaria y materializar una o más tablas de resumen. Su panel podrá entonces consultar una tabla de series temporales mucho más pequeña, reduciendo los costos de procesamiento.

Consulte la programación de consultas
funcionalidad en BigQuery, o considere BI Engine
si desea una solución más automatizada.

Optimice los costos de almacenamiento de datos

Cuando inicia una exportación de datos masivos, de forma predeterminada, los datos se conservan para siempre en su conjunto de datos de BigQuery. Sin embargo, puede actualizar los tiempos de expiración de partición predeterminados
para que las particiones de fecha se eliminen automáticamente después de un año, 16 meses o cualquier duración que desee.

Los datos exportados pueden ser valiosos para usted, pero pueden ser muy grandes. Utilice su conocimiento comercial y considere retenerlos el tiempo suficiente para análisis profundos, pero no tanto como para que se conviertan en una carga. Una opción es mantener una versión muestreada de las tablas más antiguas mientras conserva toda la tabla de fechas más recientes.

Optimice sus consultas SQL

Al consultar sus datos de Search Console, debe asegurarse de que sus consultas estén optimizadas para el rendimiento. Si es nuevo en BigQuery, consulte las pautas y consultas de muestra
en el centro de ayuda. Hay tres técnicas que debe probar.

1. Limitar el escaneo de entrada

En primer lugar, evite usar SELECT *, esta es la forma más costosa de consultar los datos, BigQuery realiza un escaneo completo de cada columna de la tabla. Aplicar una LIMIT cláusula hace no afectar la cantidad de datos leídos.

Dado que las tablas exportadas están particionadas por fecha, puede limitar el escaneo de entrada solo a los días de interés, especialmente cuando está probando y jugando con los datos. Utilice un WHERE cláusula para limitar el rango de fechas en la tabla particionada por fecha, esto traerá ahorros significativos en el costo de la consulta. Por ejemplo, puede ver solo los últimos 14 días usando la siguiente cláusula:

Para cada consulta que realice, querrá introducir cualquier filtro conocido tan pronto como sea posible para reducir el escaneo de entrada. Por ejemplo, si está analizando consultas, probablemente querrá filtrar
consultas anonimizadas filas. Una consulta anonimizada se informa como una cadena de longitud cero en la tabla. Para hacerlo, puede agregar lo siguiente:

2. Muestrear los datos

BigQuery proporciona una muestreo de tablas
capacidad, que le permite consultar subconjuntos aleatorios de datos de grandes tablas de BigQuery. El muestreo devuelve una variedad de registros al tiempo que evita los costos asociados con el escaneo y procesamiento de una tabla completa, y es especialmente útil al desarrollar consultas o cuando no se necesitan resultados exactos.

3. Use funciones aproximadas cuando no se requieran resultados exactos

BigQuery admite una serie de funciones de agregación aproximadas
que proporcionan resultados estimados y son mucho más baratas de calcular que sus contrapartes exactas. Por ejemplo, si está buscando las mejores URL por impresiones bajo alguna condición, podría usar

En lugar de

Recursos

Estos son solo algunos consejos que puede usar para comenzar a administrar sus costos; para obtener más información, consulte
mejores prácticas de optimización de costos para BigQuery.

Y como siempre, si tiene alguna pregunta o inquietud, comuníquese con nosotros a través de
Google Search Central Community
o en Twitter.

Publicado por Daniel Waisberg, Defensor de la Búsqueda, y Gaal Yahas, Ingeniero de Software.