İndeksləmə səhv gedəndə: Google Axtarış indeksləmə problemlərindən necə qurtuldu və o vaxtdan bəri öyrənilən dərslər

12 avqust 2019-cu il, Bazar ertəsi

Əksər hallarda axtarış sistemimiz normal işləyir. Komandalarımız vebdə axtarış edən istifadəçilərimizə və ya indekslədiyimiz və istifadəçilərə təqdim etdiyimiz saytların veb-ustalarına təsir edə biləcək texniki problemlərin qarşısını almaq üçün çox çalışır. Eynilə, axtarış sistemini gücləndirmək üçün istifadə etdiyimiz əsas sistemlər də əksər hallarda lazım olduğu kimi işləyir. Kiçik nasazlıqlar baş verdikdə, məhsullarımızın işlək vəziyyətdə olmasını təmin edən komandalarımızdan başqa heç kimə əsasən görünmürlər. Bununla belə, bütün mürəkkəb sistemlər kimi, bəzən daha böyük kəsintilər baş verə bilər ki, bu da həm istifadəçilər, həm də vebsayt yaradıcıları üçün fasilələrə səbəb ola bilər.

Son bir neçə ayda indeksləşdirmə sistemlərimizdə belə bir vəziyyət baş verdi ki, bu da infrastruktura digər hissələrinə zəncirvari təsir göstərdi. Vəziyyəti düzəltmək üçün əlimizdən gələni etsək də, yaranan narahatlığa görə üzr istəyirik, çünki məqsədimiz istifadəçilərimizə və veb ekosisteminə daim yüksək keyfiyyətli məhsullar təqdim etməkdir.

O vaxtdan bəri biz vəziyyəti yaxından və diqqətlə nəzərdən keçirdik. Bu prosesdə bu gün sizinlə bölüşmək istədiyimiz bir neçə dərs öyrəndik. Bu bloq yazısında biz nə baş verdiyi barədə daha ətraflı məlumat verəcək, gələcəkdə belə hallar baş verərsə, necə daha yaxşı ünsiyyət qurmağı planlaşdırdığımızı aydınlaşdıracaq və vebsayt sahiblərinə bizimlə əlaqə saxlamaq üçün istifadə edə biləcəkləri kanalları xatırladacağıq.

Bəs bir neçə ay əvvəl nə baş verdi?

Aprel ayında indeksimizlə bağlı bir neçə problemimiz oldu. Axtarış indeksi vebdə taradığımız və istifadəçilərimizin bəzi sorğularına cavab verə biləcəyini düşündüyümüz yüz milyardlarla veb səhifəni ehtiva edən verilənlər bazasıdır. İstifadəçi Google axtarış sisteminə sorğu daxil etdikdə, reytinq alqoritmlərimiz saniyənin surətində ən uyğun, faydalı nəticələri tapmaq üçün Axtarış indeksimizdəki həmin səhifələri çeşidləyir. Nə baş verdiyi haqqında daha ətraflı məlumat burada.

1. İndeksləmə problemi

Başlamaq üçün Axtarış indeksinin bir hissəsini müvəqqəti olaraq itirdik.

Gözləyin… Nə? “İndeksin bir hissəsini itirdik” demək nə deməkdir? Bu, ümumiyyətlə, mümkündürmü?

Əsasən, axtarış nəticələrini istifadəçilərə təqdim edərkən xidmətin sürətini sürətləndirmək üçün istifadəçinin sorğusu yalnız Google Axtarış məhsulunu dəstəkləyən ən yaxın məlumat mərkəzimizə qədər “səyahət edir” və oradan Axtarış Sistemi Nəticələri Səhifəsi (SERP) yaradılır. Beləliklə, indeksin tərkibində dəyişikliklər baş verdikdə (bəzi səhifələr əlavə edilir və silinir, sənədlər birləşdirilir və ya digər növ məlumat dəyişiklikləri), həmin dəyişikliklər bütün bu məlumat mərkəzlərində əks olunmalıdır. Nəticə ondan ibarətdir ki, bütün dünyada istifadəçilərə ardıcıl olaraq indeksin ən son versiyasından səhifələr təqdim olunur.

İndeksi bütün bu məlumat mərkəzlərində vahid saxlamaq sadə məsələ deyil. İstifadəçiyə yönəlmiş böyük xidmətlər üçün biz yeniləmələri bir məlumat mərkəzində başlayaraq və bütün müvafiq məlumat mərkəzləri yenilənənə qədər genişləndirməklə tətbiq edə bilərik. Həssas infrastruktur hissələri üçün biz bir neçə gün ərzində, onları müxtəlif coğrafi regionlardakı instansiyalar arasında növbələşdirməklə yayılmanı uzada bilərik.
mənbə.

Beləliklə, biz Axtarış indeksində bəzi planlaşdırılmış dəyişiklikləri etdiyimiz zaman, aprelin 5-də cümə günü yerləşdirmə sisteminin hissələri sıradan çıxdı! Daha dəqiq desək: indeksi bəzi məlumat mərkəzlərimizdə yenilədiyimiz zaman, təsadüfən az sayda sənəd indeksdən silindi. Buna görə də: “indeksin bir hissəsini itirdik.”

Xoşbəxtlikdən, bizim növbətçi mühəndislərimiz
problemi sosial mediada şərhlərin toplandığı vaxtla eyni vaxtda tez bir zamanda aşkar etdilər (həmin həftə sonu bizə məlumat verən hər kəsə təşəkkür edirik!). Nəticədə, problem aşkar edildikdən cəmi bir neçə saat sonra bütün məlumat mərkəzlərində Axtarış indeksini əvvəlki stabil vəziyyətinə qaytarmağa başlaya bildik (belə hadisələr baş verə biləcəyi təqdirdə indekslərimizin ehtiyat nüsxələrini saxlayırıq).
Bazar günü biz məlumat verdik,

Aprel 7
problemdən xəbərdar olduğumuzu və vəziyyətin normallaşmağa başladığını bildirdik. Məlumat mərkəzləri tədricən stabil indeksə qayıtdıqca, biz Twitter-də yeniləməyə davam etdik (
Aprel 8
,Aprel 9
), nə zamankı bütün məlumat mərkəzlərininAprel 11
tarixində indeksin tam versiyasına tamamilə qayıtdığına əmin olduq.

2. Axtarış Konsolu problemi

Axtarış Konsolu istənilən veb-ustanın Axtarışda onların saytının fəaliyyəti haqqında məlumat əldə etmək üçün istifadə edə biləcəyi alətlər və hesabatlar dəstidir. Məsələn, o, vebsaytın hər gün orqanik axtarış nəticələrində necə təəssürat və klik aldığını və ya vebsaytın hansı səhifələrinin Axtarış indeksinə daxil edildiyi və xaric edildiyi haqqında məlumatı göstərir.

Axtarış indeksinin yuxarıda təsvir etdiyimiz problemlərə malik olmasının nəticəsi olaraq, Axtarış Konsolu da uyğunsuzluqlar göstərməyə başladı. Bunun səbəbi Axtarış Konsolunda üzə çıxan məlumatların bir hissəsinin məhz Axtarış indeksindən qaynaqlanmasıdır:

• İndeks Əhatə Dairəsi hesabatı
  Axtarış indeksinin məlumat mərkəzləri üzrə ardıcıl olmasından asılıdır.
  bir səhifəni Axtarış indeksində saxladığımız zaman, biz səhifə ilə bağlı əsas siqnallarla, məsələn, səhifənin zəngin nəticələr işarəsini ehtiva etməsi faktı ilə qeyd edə bilərik. Buna görə də, Axtarış indeksi ilə bağlı problem Axtarış Konsolundakı
• Zəngin Nəticələr hesabatlarına
  təsir edə bilər.
  Əsasən, bir çox Axtarış Konsolunun fərdi hesabatları xüsusi verilənlər bazasından məlumatları oxuyur. Həmin verilənlər bazası qismən Axtarış indeksindən gələn məlumatlardan istifadə etməklə qurulur. Axtarış indeksinin əvvəlki versiyasına qayıtmalı olduğumuz üçün biz həm də Axtarış Konsolu məlumat bazasının yenilənməsini dayandırmalı olduq. Bu, bəzi hesabatlar üçün məlumatların düzləşməsinə (və digərlərində qeyri-sabitliyə, məsələn, URL yoxlama alətinə) səbəb oldu.

Aprel 2019-cu ildə Axtarış Konsolunda məlumatların təzəliyi problemlərinin nümunəsini göstərən, adətən müşahidə olunanlardan daha uzun müddətə sahib indekslənmiş səhifələr üçün indeksin əhatə dairəsi hesabatı.

de
tvit
– Search Console-da problemlərin olduğunu və problemi həll etmək üzərində işlədiyimizi, həmçinin düzəlişlərimizi aprelin 28-də yekunlaşdırdığımızı (hesabatların təzə məlumatları yenidən toplamağa başladığı gün, yuxarıdakı qrafikə baxın). Biz aprelin 30-da Twitter-də problemin həll olunduğunu bildirdik-
tvit.

3. Əsas indeksləmə xətası ilə əlaqədar olmayan digər problemlər

Google Search birlikdə işləyən bir sıra sistemlərə əsaslanır. Bu sistemlərin bəziləri bir-biri ilə sıx bağlı ola bilsə də, bəzi hallarda sistemin müxtəlif hissələrində təxminən eyni vaxtda əlaqəsiz problemlər yaranır.

Məsələn, indiki halda, yuxarıda izah edilən əsas indeksləmə xatası ilə təxminən eyni vaxtda, biz həmçinin təzə Google News məzmununun toplanmasında qısamüddətli problemlər yaşadıq. Bundan əlavə, səhifələrin vizuallaşdırılması zamanı müəyyən URL-lər Googlebot-u digər əlaqəsiz səhifələrə yönləndirməyə başladı. Bu problemlər indeksləmə xatası ilə tamamilə əlaqəsiz idi və tez bir zamanda həll edildi (tvit 1
və tvit 2).

Bizim kommunikasiyamız və bunu necə daha yaxşı etmək niyyətindəyik

Həmin bir neçə həftə ərzində sosial şəbəkələrdə (yuxarıda göstərildiyi kimi) ünsiyyət qurmaqla yanaşı, biz veb-ustalara digər 2 kanalda da ətraflı məlumat verdik: Search Console, eləcə də Search Console Yardım Mərkəzi.

Search Console Yardım Mərkəzində

Biz “Search Console-da məlumat anomaliyaları” yardım səhifəsini problem tam müəyyən edildikdən sonra yenilədik. Bu səhifə təsir böyük sayda veb-sayt sahibinə toxunduqda Search Console xidmətimizdəki məlumat pozuntuları haqqında məlumatı çatdırmaq üçün istifadə olunur.

Search Console-da

Bütün istifadəçilərimizin sosial şəbəkələri və ya xarici Yardım Mərkəzi səhifəsini oxumadığını bildiyimiz üçün, məlumatların dəqiq olmaya biləcəyi barədə istifadəçiləri məlumatlandırmaq üçün Search Console hesabatlarına qeydlər də əlavə etdik (aşağıdakı şəklə baxın). Biz bu məlumatı səhvlər aradan qaldırıldıqdan sonra əlavə etdik. “Ətraflı məlumat üçün buraya baxın” üzərinə klikləmək istifadəçiləri Yardım Mərkəzindəki “Məlumat Anomaliyaları” səhifəsinə göndərir.

Gələcək kommunikasiyalar

Google-da nəsə sıradan çıxanda bizim güclü “postmortem” mədəniyyətimiz var: qəzanı təhlil etmək və gələn səfər baş verməsinin qarşısını almağa çalışmaq üçün sənəd yaratmaq. Bütün proses haqqında daha ətraflı məlumat verilir
Google Site Reliability Engineering veb-saytında.

Aprel ayındakı indeksləmə problemlərindən sonra biz sistemin irimiqyaslı nasazlıqları baş verdikdə veb-ustalarla necə daha yaxşı ünsiyyət qurmaq barədə postmortemə daxil etdik. Əsas qərarlarımız bunlar idi:

1. Geniş yayılmış səhvlər haqqında Search Console-un daxilində məlumatı daha sürətli paylaşmağın yollarını araşdırmaq və həmin məlumatın veb-ustaların hər hansı fasilələrdən şübhələndiyi təqdirdə yoxlamaları üçün əsas istinad nöqtəsi kimi xidmət etməsini təmin etmək.
2. Müvafiq olduqda, Search Console məlumat anomaliyaları səhifəsində daha tez dərc etmək (əgər pozuntu Search Console məlumatlarında uzun müddət ərzində görünəcəksə).
3. Veb-ustaları xəbərdar olduğumuz və problemin bizim tərəfimizdə olduğuna tez əmin etmək üçün belə problemlər haqqında bacardığımız qədər tez tvit yazmağa davam etmək.

Bu öhdəliklər gələcəkdə potensial oxşar situasiyaları bütövlükdə veb-ustalar üçün daha şəffaf etməlidir.

Qərarlarımızın icrası: “yeni URL-lər indekslənmədi” keys studiyası

Mayın 22-də biz başqa problemlə qarşılaşdığımız üçün yeni kommunikasiya strategiyamızı sınaqdan keçirdik. Budur nə baş verdi: müəyyən URL-lərin emalı zamanı, planlaşdırılmış infrastruktur təkmilləşdirməsindən sonra dublikat idarəetmə sistemimizin yaddaşı tükəndi və bu, bütün daxil olan URL-lərin emalını dayandırdı.

Məhz yuxarıda qeyd olunan 3 nöqtəyə əsasən, ünsiyyət barədə necə düşündüyümüzün xronologiyası budur:

1. Biz problemi aşkar etdik (təxminən Kaliforniya vaxtı ilə səhər 5.30-da, 22 may)
   
   Biz
   tvit yazdıq
   davam edən problem haqqında (təxminən Kaliforniya vaxtı ilə səhər 6.40-da, 22 may)
   
   Biz
   tvit yazdıq
   həll yolu haqqında (təxminən Kaliforniya vaxtı ilə axşam 10-da, 22 may)
2. Yardım Mərkəzindəki “Məlumat Anomaliyaları” səhifəsinin yenilənməsini qiymətləndirdik, lakin uzunmüddətli perspektivdə veb-ustaların Search Console məlumatlarının əksəriyyəti üçün heç bir uzunmüddətli təsir gözləmədiyimiz üçün bundan imtina etdik.
3. Bu problemin bir çoxları üçün yaratdığı qarışıqlıq bizim əvvəlki qərarlarımızı təsdiqlədi ki, bizə Search Console-un özündə veb-ustalara təsir edə biləcək sistemlərimizdən birində fasilə ola biləcəyini daha açıq şəkildə bildirmək üçün bir üsul lazımdır. Belə bir həllin tətbiqi daha çox vaxt tələb edə bilər. Gələcəkdə daha çox xəbərimiz olduqda bu mövzu ilə bağlı ünsiyyət quracağıq.

Keçən həftə də başqa bir indeksləmə problemi yaşadıq. Mayın 22-də olduğu kimi, biz də
degeden
insanlara problem olduğunu, bunu düzeltmək üzərində işlədiyimizi və problemin nə vaxt həll olunduğunu bildirmək üçün.

Necə sazlamaq və bizimlə əlaqə saxlayın

Ümid edirik ki, bu yazı sistemlərimizin nə qədər mürəkkəb olduğu və bəzən xarab ola biləcəyi barədə daha çox aydınlıq gətirəcək və bu məsələlər haqqında necə ünsiyyət qurduğumuzu başa düşməyə kömək edəcək. Lakin bu yazı sistemlərimizin geniş yayılmış sıradan çıxmasına diqqət yetirsə də, unutmaq olmaz ki, əksər veb-sayt indeksləmə problemləri fərdi veb-saytın konfiqurasiyası tərəfindən yaranır və bu, Google Axtarışın həmin veb-saytı düzgün indeksləşdirməsini çətinləşdirə bilər. Belə hallarda bütün veb-ustalar vasitəsilə problemləri aradan qaldıra bilərlər
Search Console və bizim
Help center. Bunu etdikdən sonra, əgər hələ də problemin sizin saytınızdan qaynaqlanmadığını düşünürsünüzsə və ya onu necə həll edəcəyinizi bilmirsinizsə, bizimlə və icmamızla danışmağa gəlin, biz həmişə istifadəçilərimizdən rəy almaq istəyirik. Problemi bizə bildirmək yolu budur:

• Yoxlayın bizim
  Webmaster Community, bəzən digər veb-ustalar sizin saytınıza da təsir edən problemi vurğulayıblar.
• Şəxsən! Biz əlaqəni sevirik, gəlin və bizimlə danışın events.
• Məhsullarımız daxilində! Search Console rəy aləti komandalarımız üçün çox faydalıdır.
• Twitter və
  YouTube!

Yazan Vincent Courson, Google Search Outreach