Googlebot-un yoxlanılması: Təhlükəsizlik üçün tərs DNS axtarışlarını necə yerinə yetirmək olar

Googlebot trafikini tərs DNS axtarışı vasitəsilə yoxlamaq, serverinizə edilən sorğunun həqiqətən Google-dan gəldiyini təsdiqləmək üçün standart metoddur. Zərərli aktorlar təhlükəsizlik filtrlərini keçmək və ya xüsusi məzmunu əldə etmək üçün tez-tez Googlebot istifadəçi agentini saxtalaşdırırlar. DNS yoxlaması aparmaqla siz IP ünvanının googlebot.com və ya google.com domen adları daxilində həll olunduğunu təsdiqləyirsiniz ki, bu da orijinal axtarış trafikini icazəsiz avtomatlaşdırılmış botlardan effektiv şəkildə ayırır.

Niyə Googlebot IP ünvanlarının yoxlanılması vacibdir?

Müasir veb serverlər davamlı avtomatlaşdırılmış trafiklə məşğul olur. Bu trafikin bir hissəsi axtarış sistemlərindən gəlsə də, böyük bir hissəsi skreperlər və təhlükəsizlik skanerlərindən ibarətdir. Əgər firewall parametrləriniz çox sərtdirsə, təsadüfən Googlebot-u bloklaya bilərsiniz ki, bu da axtarış nəticələrində səhifələrin düşməsinə səbəb olur. Əksinə, bot olduğunu iddia edən hər bir sorğunu ağ siyahıya salsanız, infrastrukturunuzu zəifliklərə məruz qoyursunuz.

Təhlükəsizlik qrupları tez-tez əlçatanlıq və müdafiə arasında tarazlıq yaratmaqda çətinlik çəkirlər. IP ünvanı Googlebot olduğunu iddia etdikdə, o, asanlıqla saxtalaşdırıla bilən istifadəçi agenti sətiri təqdim edir. İkinci bir təsdiq mexanizmi olmadan serveriniz faydalı kroler ilə bant genişliyinizi istehlak etməyə və ya saytın zəif tərəflərini yoxlamağa çalışan zərərli skript arasında fərq qoya bilməz.

Əgər Googlebot olduğunu iddia edən bütün botlara icazə versəniz, saytınızı hücumlara açmış olursunuz. Yoxlama serveriniz üçün kritik bir qapıçı rolunu oynayır. Hər bir sorğunun mənbəyini yoxlamaqla, yalnız qanuni axtarış trafikinin server resurslarınızı istehlak etdiyinə əmin olursunuz. Bu, xüsusi məlumatları qorumaq və real istifadəçilər üçün sayt sürətini saxlamaq üçün lazımdır.

IP ünvanının yoxlanılması krolerin əsl kimliyini təsdiqləməyin yeganə yoludur.

Google Search Central

Googlebot özünü serverlərə necə tanıdır?

Googlebot özünü sorğunun HTTP başlığında xüsusi istifadəçi agenti sətiri ilə tanıdır. Bu sətirlər Googlebot Smartphone və ya Googlebot Desktop kimi müxtəlif kroler növləri üçün fərqlidir. Lakin bu başlıq müştəri tərəfindən təmin edildiyi üçün o, özlüyündə təhlükəsiz identifikator deyil. Googlebot olduğunu iddia edən sorğu yalnız mənbə IP ünvanının Google-a aid olduğu təsdiqləndikdə etibarlıdır.

Googlebot-un arxasındakı infrastruktur genişdir və şəbəkə tələbləri artdıqca dəyişən geniş IP ünvanları diapazonundan istifadə edir. Buna görə də IP ünvanını yoxlamaq krolerin əsl kimliyini təsdiqləməyin yeganə yoludur. IP-ni təsdiqlənmiş Google domenlə əlaqələndirməklə, administratorlar üzvi axtarış görünürlüyünə təsir etmədən təhlükəsizlik siyasətlərini inamla saxlaya bilərlər.

Tipik server mühitində kroler ‘Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)’ kimi sorğu göndərəcək. Bu sətir hər kəs tərəfindən kopyalana bildiyi üçün serveriniz əlaqənin Google infrastrukturundan gəldiyinə əmin olmaq üçün DNS axtarışını yerinə yetirməlidir.

Manual tərs DNS axtarışını necə yerinə yetirmək olar

Əksər əməliyyat sistemlərində mövcud olan komanda xətti alətlərindən istifadə edərək IP ünvanının kimliyini yoxlaya bilərsiniz. Bu alətlər xüsusi IP ünvanı ilə əlaqəli host adını tapmaq üçün Domen Adı Sistemini sorğulayır. Şübhəli IP-ni yoxlamaq üçün bu addımları izləyin:

• Yerli maşınınızda və ya serverinizdə terminalınızı və ya komanda xəttinizi açın.
• host komandasından sonra IP ünvanını istifadə edin, məsələn, ‘host 66.249.66.1’.
• Host adının googlebot.com və ya google.com ilə bitib-bitmədiyini görmək üçün çıxışı müşahidə edin.
• İkiqat yoxlama prosesini tamamlamaq üçün nəticədə yaranan host adında irəli DNS axtarışı aparın ki, onun orijinal IP ünvanı ilə uyğun gəldiyinə əmin olun.

Bu axtarışları əl ilə yerinə yetirmək xüsusi logları yoxlamaq üçün faydalıdır. Əgər serverinizə yüksək tezliklə daxil olan şübhəli IP ünvanı müəyyən etsəniz, sadə bir terminal komandası dərhal cavab verir. Əgər tərs DNS axtarışı uğursuz olarsa və ya Google ilə əlaqəsi olmayan bir domen qaytararsa, siz bloklanmalı olan saxta sorğu müəyyən etmisiniz.

Daha böyük verilənlər bazaları üçün əl ilə yoxlama səmərəli deyil. Giriş loglarınıza qarşı bu yoxlamaları avtomatlaşdırmaq üçün Python və ya Bash kimi skript dillərindən istifadə etməlisiniz. Bu, minlərlə girişi saniyələr ərzində emal etməyə və əl ilə müdaxilə olmadan qeyri-qanuni trafiki avtomatik olaraq filtrləməyə imkan verir.

Alien Road bunu müştəri təhlükəsizliyi üçün necə tətbiq edir

Alien Road-da biz bu yoxlamaları real vaxt rejimində yerinə yetirən avtomatlaşdırılmış skriptləri tətbiq etməklə müştərilərimiz üçün server tərəfi təhlükəsizliyini idarə edirik. Kəşf mərhələmizdə biz mövcud firewall qaydalarını yoxlayırıq ki, onların qanuni axtarış trafikini bloklamadığından əmin olaq. Biz daxil olan bot nümunələrini izləyən və saxta istifadəçi agenti təqdim edən, lakin tərs DNS yoxlama testindən keçə bilməyən hər hansı IP ünvanını qeyd edən log analizi alətləri qururuq.

İlkin quraşdırma zamanı atdığımız addımlar

• Ən çox rast gəlinən kroler IP-lərini və nümunələrini müəyyən etmək üçün server loglarını yoxlamaq.
• Veb tətbiq firewall-larını yalnız təsdiqlənmiş Googlebot IP diapazonlarına icazə verəcək şəkildə konfiqurasiya etmək.
• Kroler qeyri-adi davrandıqda komandamızı xəbərdar edən avtomatlaşdırılmış xəbərdarlıqlar qurmaq.
• Saytın əsas axtarış sistemləri tərəfindən indekslənə bilən qalmasını təmin etmək üçün robots.txt direktivlərini nəzərdən keçirmək.

Tipik bir əməkdaşlıqda biz görürük ki, bir çox müştərinin qanuni Googlebot trafikini bloklayan köhnəlmiş firewall qaydaları var. Biz bunu onların təhlükəsizlik parametrlərini Google-un dərc olunmuş təlimatları ilə uyğunlaşdırmaqla düzəldirik. Məqsədimiz zərərli skreperlərin bloklanmasını təmin edərkən, Googlebot-un axtarış sistemi reytinqlərini saxlamaq və ya yaxşılaşdırmaq üçün saytın hər bir səhifəsinə çata bilməsini təmin etməkdir.

Bot yoxlamasında ümumi tələlər hansılardır?

Ümumi bir səhv, yalnız HTTP başlığında təqdim olunan istifadəçi agenti sətrinə güvənməkdir. Bir çox istifadəçi sorğunun özünü ‘Googlebot’ kimi tanıtdığı üçün bunun həqiqətən o olduğuna inanır. Bu yanlışdır, çünki istifadəçi agenti hər kəs tərəfindən asanlıqla redaktə edilə bilən öz-özünə bildirilən sahədir. Digər bir problem yoxlamanın ikinci yarısını: irəli DNS axtarışını yerinə yetirməməkdir. Saxtakarlıq hücumlarının qarşısını almaq üçün domen adının həmişə orijinal IP ünvanına həll olunduğunu təsdiqləyin.

Digər bir səhv, firewall-unuza xüsusi IP ünvanlarını sərt kodlaşdırmaqdır. Google infrastrukturunu yenilədiyi üçün bu IP-lər zamanla dəyişə bilər. Əgər firewall qaydalarınız statikdirsə, şəbəkələrinə yeni əlavə edilmiş Googlebot nümunələrini bloklaya bilərsiniz. Bunun əvəzinə, axtarış sistemini təmsil etdiyini iddia edən hər hansı botun yoxlama statusunu dinamik şəkildə yoxlayan skriptlərdən istifadə edin.

Resurs istehlakı aspektinə məhəl qoymayın. Hər bir sorğunu yoxlamaq üçün mürəkkəb skriptlər işlədirsinizsə, təsadüfən serverinizi yavaşlada bilərsiniz. Təhlükəsizlik tədbirlərinizin insan ziyarətçilər üçün sayt sürətinə mənfi təsir göstərməməsini təmin etmək üçün DNS axtarışlarınızın nəticələrini ağlabatan bir müddət üçün keşləməyi tövsiyə edirik.

Bu həftə haradan başlamaq lazımdır

Serverinizin giriş loglarını nəzərdən keçirin ki, hansı botların ən çox resurs tələb edən səhifələrinizi istədiyini görəsiniz. Əgər Googlebot olduğunu iddia edən IP-lərdən yüksək trafik həcmi görsəniz, ən çox rast gəlinən ilk beş ünvanda əl ilə tərs DNS yoxlaması aparın. Əgər onlar Google-a məxsus domenə həll olunmursa, server resurslarınızın qanuni istifadəçilər və axtarış krolerləri üçün əlçatan qalmasını təmin etmək üçün firewall qaydalarınızı yeniləyin. Bu proaktiv texniki xidmət texniki təməlinizi təhlükəsiz saxlayır.