Search Console toplu veri dışa aktarımları için BigQuery verimlilik ipuçları

5 Haziran 2023 Pazartesi

Search Console toplu veri dışa aktarımı depolama, analiz ve raporlama yeteneklerini artırmak için web sitenizin arama performansı verilerini BigQuery’ye aktarmanın güçlü bir yoludur. Örneğin, verileri dışa aktardıktan sonra sorgu ve URL kümeleme işlemleri yapabilir, uzun kuyruklu arama sorguları üzerinde analizler yürütebilir ve arama verilerini diğer veri kaynaklarıyla birleştirebilirsiniz. Ayrıca verileri ihtiyaç duyduğunuz süre boyunca saklamayı da seçebilirsiniz.

Toplu veri dışa aktarımlarını kullanırken, veri işleme ve depolama maliyetlerini yönetirken bilinçli kararlar vermek önemlidir. Verileri dışa aktarmak için Search Console ile ilişkili herhangi bir maliyet yoktur; ancak, ne için faturalandırılacağınızı anlamak için BigQuery fiyatlandırması sayfasını okuyun. Bu yazıda, yeni verilerden önemli bir maliyete katlanmadan yararlanmanıza yardımcı olacak ipuçlarını ele alacağız.

Henüz bir toplu veri dışa aktarımı ayarlamadıysanız, Search Console yardım merkezindeki adım adım kılavuza
göz atın. Dışa aktarma yoluyla sunulan verilere genel bir bakış için buraya yerleştirilmiş videoyu izleyin.

Faturalandırma uyarıları ve kısıtlamaları oluşturun

Maliyetlerinizi değerlendirirken, ne kadar harcama yapmaya istekli olduğunuzu düşünmek faydalı olabilir. Bu sorunun cevabı depolama, analiz ve izleme için muhtemelen farklı olacaktır. Örneğin, tüm verilerinizi depoladığınızdan emin olmak için belirli bir miktar ödemeye istekli olabilir, ancak bir raporlama platformu oluşturmak için daha azını ödemek isteyebilirsiniz. Bunu düşünürken, Search verilerine yatırım yapmak için aylık bir bütçe belirlemek isteyebilirsiniz.

Aklınızda bir bütçe miktarı olduğunda, faturanızda sürprizlerle karşılaşmamak için bir Google Cloud bütçe uyarısı
oluşturabilirsiniz. Ayrıca, bütçe miktarınıza yaklaştığınızda e-posta bildirimlerini tetikleyen eşik kuralları da belirleyebilirsiniz.

Ek koruma için, bir sorgu için faturalandırılan bayt sayısını kısıtlayabilirsiniz.
Bunu yaparsanız, sorgunun okuyacağı bayt sayısı sorgu yürütülmeden önce tahmin edilir. Tahmini bayt sayısı sınırın üzerindeyse, sorgu herhangi bir ücret yansıtılmadan başarısız olur.

Gösterge tablolarını doğrudan ham veriler üzerine oluşturmayın

BigQuery hızlıdır ve gösterge tablonuzu doğrudan Search Console dışa aktarılan tablolarına bağlamak cazip gelebilir. Ancak büyük siteler için bu veri kümesi çok büyüktür (özellikle zaman içindeki sorgularla). Her görüntülemede özet bilgileri yeniden hesaplayan ve bunu şirketiniz içinde paylaşan bir gösterge tablosu oluşturursanız, bu durum hızla yüksek sorgu maliyetlerine yol açacaktır.

Bu maliyetlerden kaçınmak için, her günlük veri aktarımından gelen verileri önceden toplamayı ve bir veya daha fazla özet tablo oluşturmayı düşünün. Gösterge tablonuz daha sonra çok daha küçük bir zaman serisi tablosunu sorgulayarak işlem maliyetlerini düşürebilir.

BigQuery’deki sorguları zamanlama
işlevine göz atın veya daha otomatik bir çözüm istiyorsanız BI Engine
kullanmayı değerlendirin.

Veri depolama maliyetlerini optimize edin

Toplu veri dışa aktarımını başlattığınızda, veriler varsayılan olarak BigQuery veri kümenizde sonsuza kadar tutulur. Ancak, tarih bölümlerinin bir yıl, 16 ay veya istediğiniz herhangi bir süre sonra otomatik olarak silinmesi için varsayılan bölüm sona erme sürelerini güncelleyebilirsiniz.

Dışa aktarılan veriler sizin için değerli olabilir, ancak çok büyük olabilirler. İş bilgilerinizi kullanın ve verileri derinlemesine analizler için yeterince uzun süre, ancak bir yük haline gelecek kadar uzun süre tutmamayı değerlendirin. Bir seçenek, daha yakın tarihli tabloların tamamını tutarken eski tabloların örneklenmiş bir sürümünü saklamaktır.

SQL sorgularınızı optimize edin

Search Console verilerinizi sorgularken, sorgularınızın performans için optimize edildiğinden emin olmalısınız. BigQuery’de yeniyseniz, yardım merkezindeki kılavuzlara ve örnek sorgulara
göz atın. Denemeniz gereken üç teknik vardır.

1. Giriş taramasını sınırlayın

Her şeyden önce, kullanmaktan kaçının SELECT *, bu verileri sorgulamanın en pahalı yoludur, BigQuery tablodaki her sütunun tam taramasını yapar. Bir LIMIT yan tümcesi uygulamak okunan veri miktarını etkilemez.

Dışa aktarılan tablolar tarihe göre bölümlendiğinden, özellikle verileri test ederken ve üzerinde çalışırken giriş taramasını yalnızca ilgilendiğiniz günlerle sınırlayabilirsiniz. Tarih bölümlü tabloda tarih aralığını sınırlamak için bir WHERE yan tümcesi kullanın, bu sorgu maliyetinde önemli tasarruflar sağlayacaktır. Örneğin, aşağıdaki yan tümceyi kullanarak yalnızca son 14 güne bakabilirsiniz:

Yaptığınız her sorgu için, giriş taramasını azaltmak amacıyla bilinen tüm filtreleri mümkün olan en kısa sürede uygulamak istersiniz. Örneğin, sorguları analiz ediyorsanız, muhtemelen
anonimleştirilmiş sorgular satırlarını filtrelemek istersiniz. Anonimleştirilmiş bir sorgu, tabloda sıfır uzunluklu bir dize olarak raporlanır. Bunu yapmak için aşağıdakileri ekleyebilirsiniz:

2. Verileri örnekleyin

BigQuery, büyük BigQuery tablolarından rastgele veri alt kümelerini sorgulamanıza olanak tanıyan bir tablo örnekleme
yeteneği sağlar. Örnekleme, tüm bir tabloyu tarama ve işleme ile ilişkili maliyetlerden kaçınırken çeşitli kayıtlar döndürür ve özellikle sorgular geliştirirken veya kesin sonuçlara ihtiyaç duyulmadığında kullanışlıdır.

3. Kesin sonuçların gerekmediği durumlarda yaklaşık fonksiyonlar kullanın

BigQuery, tahmini sonuçlar sağlayan ve kesin karşılıklarına göre hesaplanması çok daha ucuz olan bir dizi yaklaşık toplama fonksiyonunu
destekler. Örneğin, belirli bir koşula göre gösterimlere göre en iyi URL’leri arıyorsanız, şunları kullanabilirsiniz:

Yerine

Kaynaklar

Bunlar, maliyetlerinizi yönetmeye başlamak için kullanabileceğiniz ipuçlarından sadece birkaçıdır, daha fazla bilgi edinmek için
BigQuery için maliyet optimizasyonu en iyi uygulamaları.

sayfasına göz atın. Her zaman olduğu gibi, herhangi bir sorunuz veya endişeniz varsa, lütfen
Google Search Central Topluluğu
üzerinden veya Twitter.

Yayınlayan: Daniel Waisberg, Arama Savunucusu ve Gaal Yahas, Yazılım Mühendisi.