Conseils d'efficacité BigQuery pour les exportations de données en masse de la Search Console

Lundi 5 juin 2023

Search Console exportation de données en masse est un moyen puissant d’importer les données de performance de recherche de votre site Web dans BigQuery pour augmenter les capacités de stockage, d’analyse et de reporting. Par exemple, après avoir exporté les données, vous pouvez effectuer un regroupement de requêtes et d’URL, exécuter des analyses sur des requêtes de recherche de longue traîne et combiner la recherche avec d’autres sources de données. Vous pouvez également choisir de conserver les données aussi longtemps que vous en avez besoin.

Lors de l’utilisation d’exportations de données en masse, il est important de prendre des décisions éclairées lors de la gestion des coûts de traitement et de stockage des données. Aucun coût n’est associé à la Search Console pour l’exportation des données ; cependant, lisez bien Tarification BigQuery pour comprendre ce qui vous sera facturé. Dans cet article, nous discuterons de conseils pour vous aider à tirer parti des nouvelles données sans encourir de coûts importants.

Si vous n’avez pas encore configuré d’exportation de données en masse, consultez le guide étape par étape
dans le centre d’aide de Search Console. Pour un aperçu des données disponibles via l’exportation, regardez la vidéo intégrée ici.

Créer des alertes et des restrictions de facturation

Lorsque vous réfléchissez à vos coûts, il peut être utile de déterminer combien vous seriez prêt à dépenser. La réponse à cette question sera probablement différente entre le stockage, l’analyse et la surveillance. Par exemple, vous seriez peut-être prêt à payer un certain montant pour vous assurer de stocker toutes vos données, mais moins pour créer une plateforme de reporting. Tout en y réfléchissant, vous voudrez peut-être définir un budget mensuel à investir dans les données de recherche.

Une fois que vous avez un montant de budget en tête, vous pouvez créer un alerte budgétaire Google Cloud
pour éviter les surprises sur votre facture. Vous pouvez également définir des règles de seuil qui déclenchent des notifications par e-mail lorsque vous vous rapprochez de votre montant budgétaire.

Pour plus de protection, vous pouvez également restreindre le nombre d’octets facturés
pour une requête. Si vous faites cela, le nombre d’octets que la requête lira est estimé avant l’exécution de la requête. Si le nombre d’octets estimés dépasse la limite, la requête échoue sans encourir de frais.

Ne créez pas de tableaux de bord directement sur des données brutes

BigQuery est rapide et il est tentant de lier votre tableau de bord directement aux tables exportées de Search Console. Mais pour les grands sites, cet ensemble de données est très volumineux (surtout avec les requêtes au fil du temps). Si vous créez un tableau de bord qui recalcule les informations récapitulatives à chaque affichage et les partage au sein de votre entreprise, cela entraînera rapidement des coûts de requête élevés.

Pour éviter ces coûts, envisagez de pré-agréger les données de chaque dépôt quotidien et de matérialiser une ou plusieurs tables de synthèse. Votre tableau de bord pourra alors interroger une table de séries chronologiques beaucoup plus petite, ce qui réduira les coûts de traitement.

Vérifiez le planification des requêtes
fonctionnalité dans BigQuery, ou envisagez BI Engine
si vous souhaitez une solution plus automatisée.

Optimiser les coûts de stockage des données

Lorsque vous lancez une exportation de données en masse, par défaut, les données sont conservées indéfiniment dans votre ensemble de données BigQuery. Cependant, vous pouvez mettre à jour les délais d’expiration des partitions par défaut
afin que les partitions de date soient automatiquement supprimées après un an, 16 mois ou toute autre durée de votre choix.

Les données exportées peuvent vous être précieuses, mais elles peuvent être très volumineuses. Utilisez vos connaissances commerciales et envisagez de les conserver assez longtemps pour des analyses approfondies, mais pas trop longtemps pour qu’elles ne deviennent pas un fardeau. Une option consiste à conserver une version échantillonnée des tables plus anciennes tout en conservant l’intégralité de la table des dates les plus récentes.

Optimisez vos requêtes SQL

Lors de l’interrogation de vos données Search Console, vous devez vous assurer que vos requêtes sont optimisées pour les performances. Si vous débutez avec BigQuery, consultez les directives et exemples de requêtes
dans le centre d’aide. Il y a trois techniques que vous devriez essayer.

1. Limiter l’analyse des entrées

Tout d’abord, évitez d’utiliser SELECT *, c’est la façon la plus coûteuse d’interroger les données, BigQuery effectue une analyse complète de chaque colonne de la table. L’application d’un LIMIT clause fait pas affecter la quantité de données lues.

Étant donné que les tables exportées sont partitionnées par date, vous pouvez limiter l’analyse des entrées aux seuls jours d’intérêt, en particulier lorsque vous testez et jouez avec les données. Utilisez un WHERE clause pour limiter la plage de dates dans la table partitionnée par date, cela apportera des économies significatives sur le coût des requêtes. Par exemple, vous pouvez ne regarder que les 14 derniers jours en utilisant la clause suivante :

Pour chaque requête que vous effectuez, vous souhaitez introduire tous les filtres connus dès que possible pour réduire l’analyse des entrées. Par exemple, si vous analysez des requêtes, vous voudrez probablement filtrer
requêtes anonymisées lignes. Une requête anonymisée est signalée comme une chaîne de longueur nulle dans le tableau. Pour ce faire, vous pouvez ajouter ce qui suit :

2. Échantillonner les données

BigQuery fournit un échantillonnage de table
capacité, qui vous permet d’interroger des sous-ensembles aléatoires de données à partir de grandes tables BigQuery. L’échantillonnage renvoie une variété d’enregistrements tout en évitant les coûts associés à l’analyse et au traitement d’une table entière, et est particulièrement utile lors du développement de requêtes ou lorsque des résultats exacts ne sont pas nécessaires.

3. Utilisez des fonctions approximatives lorsque des résultats exacts ne sont pas requis

BigQuery prend en charge un certain nombre de fonctions d’agrégation approximatives
qui fournissent des résultats estimés et sont beaucoup moins chers à calculer que leurs équivalents exacts. Par exemple, si vous recherchez les meilleures URL par impressions sous une certaine condition, vous pourriez utiliser

Au lieu de

Ressources

Ce ne sont là que quelques conseils que vous pouvez utiliser pour commencer à gérer vos coûts, pour en savoir plus, consultez
bonnes pratiques d’optimisation des coûts pour BigQuery.

Et comme toujours, si vous avez des questions ou des préoccupations, n’hésitez pas à nous contacter via le
Google Search Central Community
ou sur Twitter.

Publié par Daniel Waisberg, Search Advocate, et Gaal Yahas, Software Engineer.