İndeksleme hataları: Google Arama indeksleme sorunlarından nasıl kurtuldu ve o günden bu yana çıkarılan dersler

12 Ağustos 2019 Pazartesi

Çoğu zaman arama motorumuz sorunsuz çalışır. Ekiplerimiz, web’de arama yapan kullanıcılarımızı veya dizine eklediğimiz ve kullanıcılara sunduğumuz sitelerin web yöneticilerini etkileyebilecek teknik sorunları önlemek için çok çalışır. Benzer şekilde, arama motoruna güç sağlamak için kullandığımız temel sistemler de çoğu zaman amaçlandığı gibi çalışır. Küçük aksaklıklar meydana geldiğinde, ürünlerimizin çalışır durumda olmasını sağlayan ekiplerimiz dışında neredeyse hiç kimse tarafından fark edilmezler. Bununla birlikte, tüm karmaşık sistemlerde olduğu gibi, bazen hem kullanıcılar hem de web sitesi oluşturucular için aksamalara yol açabilecek daha büyük kesintiler meydana gelebilir.

Son birkaç ayda, indeksleme sistemlerimizde altyapımızın diğer bazı bölümlerinde zincirleme etki yaratan böyle bir durum meydana geldi. Durumu düzeltmek için elimizden geldiğince hızlı çalışırken, amacımız kullanıcılarımıza ve web ekosistemine sürekli olarak yüksek kaliteli ürünler sunmak olduğundan, yaşanan aksaklık için özür dileriz.

O zamandan beri durumu daha yakından ve dikkatlice inceledik. Bu süreçte bugün sizinle paylaşmak istediğimiz birkaç ders çıkardık. Bu blog yazısında, ne olduğuna dair daha fazla ayrıntıya gireceğiz, gelecekte böyle şeyler olursa nasıl daha iyi iletişim kurmayı planladığımızı netleştireceğiz ve web sitesi sahiplerine bizimle iletişim kurmak için kullanabilecekleri kanalları hatırlatacağız.

Peki, birkaç ay önce ne oldu?

Nisan ayında, indeksimizle ilgili birkaç sorun yaşadık. Arama indeksi, web’de taradığımız ve kullanıcılarımızın bazı sorgularını yanıtlayabileceğini düşündüğümüz yüz milyarlarca web sayfasını içeren veritabanıdır. Bir kullanıcı Google arama motoruna bir sorgu girdiğinde, sıralama algoritmalarımız saniyenin kesirinde en alakalı, yararlı sonuçları bulmak için arama indeksimizdeki bu sayfaları tarar. Ne olduğuna dair daha fazla bilgiyi aşağıda bulabilirsiniz.

1. İndeksleme sorunu

Başlangıç olarak, arama indeksinin bir kısmını geçici olarak kaybettik.

Bekle… Ne? “İndeksin bir kısmını kaybettik” derken ne demek istiyorsun? Bu mümkün mü?

Temel olarak, kullanıcılara arama sonuçları sunarken hizmetin hızını artırmak için kullanıcının sorgusu, yalnızca Google Arama ürününü destekleyen ve Arama Motoru Sonuç Sayfası’nın (SERP) oluşturulduğu en yakın veri merkezimize kadar “seyahat eder”. Dolayısıyla, indeksin bileşiminde değişiklikler olduğunda (bazı sayfalar eklenip silindiğinde, belgeler birleştirildiğinde veya diğer veri modifikasyonu türlerinde), bu değişikliklerin tüm bu veri merkezlerine yansıtılması gerekir. Bunun sonucu olarak, tüm dünyadaki kullanıcılara tutarlı bir şekilde indeksin en son sürümündeki sayfalar sunulur.

İndeksi tüm bu veri merkezlerinde bir arada tutmak kolay bir görev değildir. Kullanıcı odaklı büyük hizmetler için güncellemeleri bir veri merkezinde başlayarak ve ilgili tüm veri merkezleri güncellenene kadar genişleterek dağıtabiliriz. Hassas altyapı parçaları için, bir dağıtımı birkaç güne yayabilir, bunları farklı coğrafi bölgelerdeki örnekler arasında araya sokabiliriz.
kaynak.

Dolayısıyla, Arama indeksinde bazı planlanmış değişiklikler yaparken, 5 Nisan’da dağıtım sisteminin bazı parçaları kırıldı, üstelik bir Cuma günü! Daha spesifik olarak: indeksi bazı veri merkezlerimizde güncellerken, az sayıda belge yanlışlıkla indeksten çıkarıldı. Bu nedenle: “indeksin bir kısmını kaybettik.”

Neyse ki,
nöbetçi mühendislerimiz
sosyal medyada konuşmaların başladığı aynı zamanda sorunu oldukça hızlı bir şekilde yakaladı (o hafta sonu bizi bilgilendiren herkese teşekkürler!). Sonuç olarak, sorun ortaya çıktıktan sadece birkaç saat sonra tüm veri merkezlerinde Arama indeksini önceki kararlı durumuna geri döndürmeye başlayabildik (bu tür olayların meydana gelmesi durumunda indekslerimizin yedeklerini tutarız).

Pazar günü ilettik,
7 Nisan
tarihinde sorunun farkında olduğumuzu ve işlerin normale dönmeye başladığını belirttik. Veri merkezleri kademeli olarak kararlı bir indekse geri dönerken, Twitter’da güncellemeler yapmaya devam ettik (
8 Nisan,
9 Nisantarihlerinde), ta ki
11 Nisan.

tarihinde tüm veri merkezlerinin tamamen indeksin eksiksiz bir sürümüne geri döndüğünden emin olana kadar

2. Search Console sorunu Search Console

, her web yöneticisinin Arama’daki web sitelerinin performansı hakkındaki verilere erişmek için kullanabileceği araçlar ve raporlar kümesidir. Örneğin, bir web sitesinin her gün organik arama sonuçlarında kaç kez gösterim ve tıklama aldığını veya bir web sitesinin hangi sayfalarının Arama indeksine dahil edilip edilmediği hakkındaki bilgileri gösterir.

• Arama indeksinin yukarıda açıkladığımız sorunları yaşamasının bir sonucu olarak, Search Console da tutarsızlıklar göstermeye başladı. Bunun nedeni, Search Console’da ortaya çıkan verilerin bir kısmının doğrudan Arama indeksinin kendisinden kaynaklanmasıdır:
  Dizin Kapsamı raporu
  , Arama indeksinin veri merkezleri arasında tutarlı olmasına bağlıdır.
• bir sayfayı Arama indeksinde sakladığımızda, girdiye sayfa hakkında ana sinyaller ekleyebiliriz, örneğin sayfanın zengin sonuçlar biçimlendirmesi içermesi gibi. Bu nedenle, Arama indeksindeki bir sorunun Search Console’daki
  Zengin Sonuçlar raporları
  üzerinde bir etkisi olabilir.

Temel olarak, birçok Search Console bireysel raporu verileri özel bir veritabanından okur. Bu veritabanı kısmen Arama indeksinden gelen bilgiler kullanılarak oluşturulur. Arama indeksinin önceki bir sürümüne geri dönmek zorunda kaldığımız için, Search Console veritabanının güncellenmesini de duraklatmak zorunda kaldık. Bu, bazı raporlar için verilerin düzleşmesine (ve URL denetimi aracı gibi diğerlerinde kararsızlığa) neden oldu.

Tüm Arama indeksi sorununun geri alınması birkaç gün sürdüğü için (yukarıdaki açıklamaya bakın), indeksleme sorunları düzeltildikten birkaç gün sonrasına kadar Search Console veritabanını düzeltmeye odaklanmamız gecikti. 15 Nisan’da ilettik –
tweet
– Search Console’da sorunlar yaşandığını ve bunu düzeltmek için çalıştığımızı, ayrıca düzeltmelerimizi 28 Nisan’da tamamladığımızı (raporların yeniden taze veri toplamaya başladığı gün, yukarıdaki grafiğe bakın). Sorunun çözüldüğünü 30 Nisan’da Twitter’da duyurduk-
tweet.

3. Ana dizine ekleme hatasıyla ilgili olmayan diğer sorunlar

Google Search, birlikte çalışan bir dizi sisteme dayanır. Bu sistemlerin bazıları birbirine sıkı sıkıya bağlı olabilse de, bazı durumlarda sistemin farklı kısımlarında aynı zamanlarda birbiriyle ilişkisiz sorunlar yaşanır.

Örneğin mevcut durumda, yukarıda açıklanan ana dizine ekleme hatasıyla neredeyse aynı zamanlarda, taze Google News içeriği toplamada da kısa süreli sorunlar yaşadık. Ek olarak, sayfaları oluştururken belirli URL’ler Googlebot’u diğer ilişkisiz sayfalara yönlendirmeye başladı. Bu sorunlar dizine ekleme hatasından tamamen bağımsızdı ve hızla çözüldü (tweet 1
ve tweet 2).

İletişimimiz ve bunu nasıl daha iyi yapmayı amaçladığımız

Bu birkaç hafta boyunca sosyal medyada (yukarıda vurgulandığı gibi) iletişim kurmanın yanı sıra, web yöneticilerine diğer 2 kanalda da daha fazla ayrıntı verdik: Search Console ve Search Console Yardım Merkezi.

Search Console Yardım Merkezi’nde

“Search Console’da veri anomalileri” yardım sayfamızı, sorun tamamen belirlendikten sonra güncelledik. Bu sayfa, etki çok sayıda web sitesi sahibini etkilediğinde Search Console hizmetimizdeki veri kesintileri hakkında bilgi iletmek için kullanılır.

Search Console’da

Tüm kullanıcılarımızın sosyal medyayı veya harici Yardım Merkezi sayfasını okumadığını bildiğimiz için, verilerin doğru olmayabileceği konusunda kullanıcıları bilgilendirmek amacıyla Search Console raporlarına notlar da ekledik (aşağıdaki resme bakın). Bu bilgiyi hataların çözümünden sonra ekledik. “Daha fazla ayrıntı için buraya bakın” seçeneğine tıklamak kullanıcıları Yardım Merkezi’ndeki “Veri Anomalileri” sayfasına yönlendirir.

Gelecekteki iletişimler

Google’da bir şeyler bozulduğunda güçlü bir “postmortem” (olay sonrası inceleme) kültürümüz var: arıza hakkında brifing vermek ve bir dahaki sefere yaşanmasını önlemeye çalışmak için bir belge oluşturmak. Tüm süreç daha ayrıntılı olarak şu adreste açıklanmıştır:
Google Site Reliability Engineering web sitesi.

Nisan ayındaki dizine ekleme sorunlarının ardından, büyük sistem arızaları durumunda web yöneticileriyle nasıl daha iyi iletişim kurulacağını postmortem çalışmasına dahil ettik. Temel kararlarımız şunlardı:

1. Yaygın hatalar hakkında Search Console’un içinde daha hızlı bilgi paylaşmanın yollarını araştırmak ve web yöneticilerinin kesinti şüphesi duymaları durumunda kontrol etmeleri için bu bilginin ana referans noktası olarak hizmet etmesini sağlamak.
2. İlgili olduğunda (kesinti Search Console verilerinde uzun vadede görülecekse) Search Console veri anomalileri sayfasında daha hızlı bir şekilde paylaşım yapmak.
3. Web yöneticilerini durumdan haberdar olduğumuz ve sorunun bizim tarafımızda olduğu konusunda hızla rahatlatmak için bu tür sorunlar hakkında olabildiğince çabuk tweet atmaya devam etmek.

Bu taahhütler, gelecekteki olası benzer durumları bir bütün olarak web yöneticileri için daha şeffaf hale getirmelidir.

Çözümlerimizi hayata geçirmek: “dizine eklenmemiş yeni URL’ler” vakası

22 Mayıs’ta, başka bir sorunla karşılaştığımız için yeni iletişim stratejimizi test ettik. Olanlar şunlardı: belirli URL’leri işlerken, planlanan bir altyapı yükseltmesinin ardından yinelenen içerik yönetim sistemimizin belleği bitti ve bu da gelen tüm URL’lerin işlenmesinin durmasına neden oldu.

İletişim hakkında nasıl düşündüğümüzün zaman çizelgesi, hemen yukarıda vurgulanan 3 noktayı takip ederek şöyledir:

1. Sorunu fark ettik (22 Mayıs Kaliforniya saatiyle sabah 5.30 civarı)
   
   Devam eden
   sorun hakkında
   tweet attık (22 Mayıs Kaliforniya saatiyle sabah 6.40 civarı)
   
   Çözüm
   hakkında
   tweet attık (22 Mayıs Kaliforniya saatiyle akşam 10 civarı)
2. Yardım Merkezi’ndeki “Veri Anomalileri” sayfasını güncellemeyi değerlendirdik, ancak uzun vadede web yöneticilerinin Search Console verilerinin çoğunluğu için herhangi bir uzun vadeli etki beklemediğimiz için bundan vazgeçtik.
3. Bu sorunun birçoğu için yarattığı kargaşa, web yöneticilerini etkileyebilecek sistemlerimizden birinde bir kesinti olabileceğini Search Console’un kendisinde daha net bir şekilde bildirmemizin bir yoluna ihtiyacımız olduğu yönündeki önceki sonuçlarımızı doğruladı. Böyle bir çözümün uygulanması daha uzun sürebilir. Daha fazla haberimiz olduğunda gelecekte bu konuyu iletişimimize taşıyacağız.

Geçen hafta başka bir dizine ekleme sorunumuz daha oldu. 22 Mayıs’ta olduğu gibi, biz de
degeden
insanlara bir sorun olduğunu, bunu düzeltmek için çalıştığımızı ve sorunun ne zaman çözüldüğünü bildirmek için.

Nasıl hata ayıklanır ve bizimle iletişim kurarsınız

Umarız bu yazı sistemlerimizin ne kadar karmaşık olduğu ve bazen nasıl arızalanabileceği konusunda daha fazla netlik getirir ve ayrıca bu konular hakkında nasıl iletişim kurduğumuzu anlamanıza yardımcı olur. Ancak bu yazı sistemlerimizin yaygın bir arızasına odaklanırken, çoğu web sitesi indeksleme sorunlarının bireysel bir web sitesinin yapılandırmasından kaynaklandığını ve bunun Google Arama’nın o web sitesini düzgün bir şekilde indekslemesinde zorluklar yaratabileceğini unutmamak önemlidir. Bu gibi durumlarda tüm web yöneticileri şurayı kullanarak sorunları ayıklayabilir:
Search Console ve
Help centermerkezimiz. Bunu yaptıktan sonra, hala bir sorunun sitenizden kaynaklanmadığını düşünüyorsanız veya nasıl çözeceğinizi bilmiyorsanız, gelin bizimle ve topluluğumuzla konuşun, kullanıcılarımızdan her zaman geri bildirim almak isteriz. Bize bir sorunu bildirmenin yolu şudur:

• Kontrol edin:
  Webmaster Community, bazen diğer web yöneticileri de sitenizi etkileyen bir sorunu öne çıkarmış olabilir.
• Yüz yüze! İletişimi seviyoruz, gelin bizimle konuşun events.
• Ürünlerimiz içinde! Search Console geri bildirim aracı ekiplerimiz için çok faydalıdır.
• Twitter ve
  YouTube!

Yazan: Vincent Courson, Google Search Outreach