Cloudflare AI botlarını bloklayır və sayt görünməsi

İyul 2025-ci ildəki dəyişiklik, məzmun çatdırılma şəbəkələrinin avtomatlaşdırılmış trafiklə necə işlədiyinə dair fundamental bir dəyişikliyi göstərir. İllərdir internet, botların xüsusi olaraq qadağan edilmədiyi təqdirdə icazə verildiyi açıq krol fərziyyəsi ilə işləyirdi. Cloudflare, sayt sahiblərinə intellektual mülkiyyətlərinin generativ modelləri öyrətmək üçün necə istifadə edildiyinə daha çox nəzarət etmək üçün yeni domenlər üçün bunu dəyişdi.

AI şirkətləri tez-tez birbaşa yönləndirmə trafikini mənbəyə qaytarmadan böyük miqdarda məlumat toplayır. Bu blokları standart olaraq aktivləşdirməklə, şəbəkə provayderi mürəkkəb firewall qaydalarını konfiqurasiya etmək üçün texniki təcrübəsi olmayan kiçik naşirləri qoruyur. Bu addım, həmçinin AI agentlərinin yüksək həcmli məlumat girişi üçün yaradıcılara kompensasiya ödəməli ola biləcəyi Pay Per Crawl modeli ilə də uyğunlaşır.

Müasir dövrdə görünürlük artıq Google nəticələri səhifəsindəki mavi linklərlə məhdudlaşmır. Bir çox istifadəçi indi məhsullar, xidmətlər və məlumat tapmaq üçün AI çat interfeyslərinə müraciət edir. Əgər Cloudflare bu botları şəbəkə səviyyəsində bloklayırsa, brendiniz bu alətlər tərəfindən təqdim olunan sitatlarda və ya cavablarda görünməyəcək.

Məsələn, xüsusi açıq hava avadanlıqları satan bir Shopify mağazası əla SEO-ya sahib ola bilər, lakin bir AI botu məhsul təsvirlərinə daxil ola bilmirsə, həmin mağaza AI tərəfindən yaradılan alış-veriş tövsiyələrində olmayacaq. Bu, məlumatların qorunması ilə yeni axtarış vasitələrində brendin kəşf edilməsi ehtiyacı arasında tarazlıq yaratmalı olan rəqəmsal marketoloqlar üçün strateji dilemma yaradır.

Pay Per Crawl konsepsiyası, veb məlumatları üçün bazar təqdim edən bir satıcı xüsusiyyətidir. Pulsuz və limitsiz məlumat toplamaya icazə vermək əvəzinə, bu model sayt sahiblərinə AI şirkətlərinin məzmunlarına necə daxil olacağına dair şərtlər qoymağa imkan verir. O, veb məlumatlarını ictimai xidmətdən çox premium aktiv kimi qiymətləndirir.

Bu sistem məzmun yaradıcıları və AI tərtibatçıları arasındakı dəyər boşluğunu aradan qaldırmağı hədəfləyir. Hələ ilkin mərhələdə olsa da, bu modelin Cloudflare ekosisteminə inteqrasiyası, yüksək keyfiyyətli məlumatların kommersiya müqavilələri ilə qorunduğu bir gələcəyi göstərir. Əgər saytınız yeni bir domendədirsə, siz artıq standart olaraq bu məhdudlaşdırılmış ekosistemin bir hissəsisiniz.

Robots.txt-də bota icazə verməyin giriş üçün kifayət etdiyi geniş yayılmış bir yanlış fikirdir. Bununla belə, CDN və WAF blokları şəbəkə yığınının daha aşağı səviyyəsində işləyir. Əgər Cloudflare bir sorğunu tanınmış AI botundan gələn kimi müəyyən edirsə və blok aktivdirsə, sorğu robots.txt faylınızı oxumadan əvvəl dayandırılır.

Robots.txt, nəzakətli botların izləməyi seçdiyi bir təlimatlar toplusudur. Bunun əksinə olaraq, Cloudflare bloku bir icra mexanizmidir. Əgər AI üçün görünən olmaq istəyirsinizsə, həm server səviyyəsindəki təlimatlarınızın, həm də şəbəkə səviyyəsindəki firewall qaydalarınızın sinxron olduğundan əmin olmalısınız. Yalnız robots.txt faylına güvənmək müasir veb idarəetmə üçün artıq etibarlı bir strategiya deyil.

Cari vəziyyətinizi müəyyən etmək üçün domeninizin təhlükəsizlik parametrlərinə daxil olmalısınız. Əksər istifadəçilər bu parametrləri idarə panelinin ‘Bots’ bölməsində tapacaqlar. Bundan əlavə, AI şirkətləri ilə əlaqəli tanınmış User-Agent-lərdən gələn çağırışlı və ya bloklanmış sorğuları göstərən xüsusi logları axtarmalısınız.

• Cloudflare idarə panelinə daxil olun və xüsusi domeninizi seçin.
• Soldakı Security menyusuna keçin və Bots alt bölməsinə klikləyin.
• AI Scrapers and Crawlers keçidinin vəziyyətini yoxlayın.
• Verified Bot və ya AI Bot kateqoriyalarının bloklanıb-bloklanmadığını görmək üçün Firewall Events logunu nəzərdən keçirin.
• Hər hansı bir xüsusi WAF qaydasının GPTBot və ya CCBot kimi User-Agent-ləri açıq şəkildə hədəf alıb-almadığını yoxlayın.

Xüsusi firewall qaydaları vasitəsilə qranulyar nəzarət mümkündür. Real vaxt rejimində axtarış nəticələri üçün ChatGPT-nin saytınızı krol etməsinə icazə vermək, lakin yalnız oflayn model təlimi üçün məlumat toplayan digər botları bloklamaq istəyə bilərsiniz. Bu, məlumatlarınızı vebdəki hər krolerə pulsuz vermədən AI axtarış iqtisadiyyatında iştirak etməyə imkan verir.

Tipik bir hesabda WAF-da Skip qaydası yarada bilərsiniz. Bu qayda, User-Agent müəyyən bir sətirlə uyğunlaşarsa, AI blokunu keçmək üçün konfiqurasiya edilə bilər. Bununla belə, unutmayın ki, bəzi botlar öz şəxsiyyətlərini saxtalaşdırır, ona görə də yalnız User-Agent-lərə güvənmək riskli ola bilər. Cloudflare-in təsdiqlənmiş bot siyahısı bu icazələri idarə etməyin daha təhlükəsiz yoludur.

AI üçün görünməz qalmaq qərarı biznes modelinizdən asılıdır. Əgər reklam gəlirlərinə əsaslanan bir xəbər saytı və ya bloq idarə edirsinizsə, AI məlumat toplaması zərərli ola bilər, çünki bu, istifadəçi saytınıza daxil olmadan məlumatı ona təqdim edir. Bu halda, standart blok əhəmiyyətli bir üstünlükdür.

Digər tərəfdən, əgər xidmət təminatçısı və ya yerli biznessinizsə, yəqin ki, AI botlarının varlığınızdan xəbərdar olmasını istəyirsiniz. Əgər kimsə bir AI köməkçisindən müəyyən bir bölgədəki ən yaxşı rəqəmsal marketinq agentliyini soruşarsa, məlumatlarınızın həmin model üçün əlçatan olmasını istəyirsiniz. Bu kontekstdə görünməz olmaq, AI kroluna icazə verən rəqiblərə potensial müştəriləri itirmək deməkdir.

AI görünürlüyünün idarə edilməsi üçün yoxlama siyahısı

• Standart blokların tətbiq olunub-olunmadığını görmək üçün domeninizin iyul 2025-dən sonra qeydiyyatdan keçib-keçmədiyini müəyyən edin.
• AI krolerlərinin hazırda 403 Forbidden xətası alıb-almadığını görmək üçün trafik loglarınızı yoxlayın.
• Perplexity kimi AI axtarış sistemlərindən gələn yönləndirmə trafik potensialını qiymətləndirin.
• Nəzarət olunan görünürlük istəyirsinizsə, Verified Bots-a icazə vermək üçün xüsusi WAF qaydası qurun.
• Gələcək monetizasiya imkanları üçün Pay Per Crawl parametrlərini izləyin.