Sunucunuza yetkisiz bot erişimi; izin almadan istek yapan, özel içerikleri kazıyan veya kimlik bilgisi doldurma (credential stuffing) girişiminde bulunan otomatik betikleri, kazıyıcıları ve kötü amaçlı tarayıcıları içerir. Web yöneticileri; anormal istek patlamaları, sahte user-agent dizgileri ve hassas dizinler genelindeki anormal hit dağılımları için web sunucusu erişim günlüklerini (log) analiz ederek bu kötü aktörleri tespit edebilir ve ardından güvenlik duvarı erişim kuralları, ters DNS doğrulaması ve uç düzeyinde oran sınırlaması (rate limiting) aracılığıyla bunları engelleyebilir.
Yetkisiz bot erişimini arama sıralamaları için tehlikeli yapan nedir?
Arama performansı doğrudan sunucu kullanılabilirliği ve sayfa kararlılığı ile bağlantılıdır. Kontrolsüz kazıyıcı ağları web sunucunuza aynı anda saldırdığında, değerli CPU çekirdeklerini, RAM’i ve veritabanı bağlantılarını tüketirler. Bu kaynak tükenmesi, hem meşru ziyaretçiler hem de arama motoru indeksleme örümcekleri için yanıt sürelerini yavaşlatır.
Bot odaklı bir trafik sıçraması sırasında YandexBot gelirse, sunucunuz HTTP 500 dahili sunucu hataları veya HTTP 504 ağ geçidi zaman aşımı hataları döndürebilir. Bir arama tarayıcısı art arda sunucu hatalarıyla veya aşırı gecikmeyle karşılaştığında, tarama sıklığını azaltır. Yanıt vermesi çok uzun süren sayfalar tarama kuyruğunda aşağı düşer; bu da yeni ürünlerin, fiyat ayarlamalarının veya yeni yayınlanan editoryal içeriğin keşfini geciktirir.
Ham kesinti süresinin ötesinde, yetkisiz botlar genellikle açık veritabanı uç noktalarını, güncelliğini yitirmiş CMS eklentilerini ve yükleme açıklarını tarar. Açık bir giriş noktası bulan denetlenmeyen botlar, doğrudan şablon dosyalarına yasadışı metin veya yönlendirme betikleri ekleyebilir. Bu durum doğrudan ciddi arama cezalarına yol açar.
Hileli botlar arama güvenliği ihlallerini nasıl tetikler?
Kötü amaçlı botlar yalnızca içerik çalmaz; sıklıkla yama uygulanmamış formları ve yönetim yollarını spam veya zararlı yürütülebilir dosyalar enjekte etmek için bir silah olarak kullanırlar. Yandex Webmaster yönergelerine göre, kötü amaçlı yazılım veya düşük kaliteli otomatik kopyalar barındırdığı tespit edilen siteler, keskin görünürlük düşüşleriyle veya arama sonuçlarından tamamen çıkarılmakla karşı karşıya kalır.
Site güvenliğini kapsayan resmi belgeleme bölümlerinde Yandex, iki temel ihlale karşı katı korumalar uygular: istenmeyen yazılımlar ve otomatik metin manipülasyonu. Hileli botlar, yetkisiz indirmeleri, sessiz kripto para madencilerini veya casus yazılımları tetikleyen arka plan betikleri kurmak için genellikle sertleştirilmemiş bir sunucuyu tehlikeye atarlar. Yandex tarayıcıları, değiştirilmiş yürütülebilir dosyalara hizmet veren veya duyurulmamış yazılım paketlerini indiren betikleri başlatan sayfalar keşfettiğinde, arama sonuçlarında kullanıcıları uyaran güvenlik uyarıları görünür.
Web yöneticileri genellikle ani trafik çökmelerinden algoritmik değişimleri sorumlu tutar, ancak otomatik güvenlik açığı botlarının haftalar önce genel şablonlarına gizli spam bağlantıları veya kripto madenciliği betikleri enjekte ettiğini sonradan fark ederler.
Alien Road SEO ekibi
Benzer şekilde, enjeksiyon botları anahtar kelime dolgulu cümleleri, gizli etiket bulutlarını veya display none ile biçimlendirilmiş görünmez blokları kategori altbilgilerinize sokabilir. SEO metinleri hakkındaki resmi Yandex rehberliği, insan okuyucular için değil yalnızca arama motorları için yazılmış gizli kelimelerin ve ayrıntılı kopyaların aktif bir ihlal teşkil ettiğini açıklar. Yetkisiz bir bot, parazit spam barındırmak için HTML’nizi değiştirmeyi başardığında, arama algoritmaları bilinmeyen saldırganı değil sizin alan adınızı cezalandırır.
Sunucu günlüklerinizde hileli botları nasıl tanımlayabilirsiniz?
Kötü amaçlı trafiği tespit etmek, ister Nginx, ister Apache, ister uç dağıtım ağları tarafından üretilsin, ham erişim günlüklerinizin (raw access logs) içinden başlar. Otomatik betikler genellikle normal insan gezinmesi ve doğrulanmış arama tarayıcılarıyla keskin bir tezat oluşturan belirgin dijital izler bırakır.
- Alışılmadık istek sıklıkları: Sayfa öğeleri arasında duraklamadan saniyede düzinelerce URL talep eden tek bir IP adresi.
- Sahte user-agent başlıkları: Tüketici İSS’lerinden, konut proxylerinden veya barındırma bulut IP aralıklarından kaynaklanan, YandexBot veya Googlebot olduğunu iddia eden trafik.
- Sistematik dizin taraması: wp-login.php, xmlrpc.php, .env veya yedek arşiv uzantıları gibi hassas dosyaları hedefleyen hızlı ardışık GET ve POST istekleri.
- Bozuk yönlendirici (referrer) verileri: Web sunucusu önbelleklerini atlamak için tasarlanmış boş yönlendiriciler veya saçma sorgu parametreleriyle tekrarlanan istekler.
- Tekdüzen oturum kalıpları: İlgili CSS, JS veya görsel varlıklarını asla talep etmeden yalnızca yüksek değerli katalog sayfalarını ziyaret eden oturumlar.
Kritik bir doğrulama adımı, user-agent dizgisinde arama motoru kimliklerini beyan eden botların doğrulanmasını içerir. Kazıyıcılar, saf erişim kontrol listelerini atlamak için kendilerini sıklıkla YandexBot olarak etiketler. Meşru arama botları, ters DNS sorguları aracılığıyla doğrulanmalıdır. Ziyaretçi IP’sinde bir ters DNS sorgusu çalıştırdığınızda, ana bilgisayar adı otantik bir yandex.ru, yandex.net veya yandex.com alan adına çözümlenmelidir. Bu ana bilgisayar adında ileri DNS araması çalıştırmak, daha sonra aynı IP adresine geri çözümlenmelidir. İleri ve ters kayıtlar uyuşmazsa, acil bir yasaklamayı hak eden sahte bir botla uğraşıyorsunuz demektir.
Alien Road bot korumasını ve güvenliğini nasıl yönetir?
Alien Road olarak biz, bot yönetimini ayrı bir BT görevinden ziyade arama motoru optimizasyonunun temel bir tabanı olarak ele alıyoruz. E-ticaret ve potansiyel müşteri yaratma sektörlerindeki müşteri çalışmalarımızda, denetlenmeyen kazıyıcılar sıklıkla barındırma bütçelerini tüketir ve tarama verimliliğine zarar verir. Yönetilen her dağıtımda sistematik bir koruma çerçevesi uyguluyoruz.
Mühendislik sürecimiz dört yapılandırılmış aşamayı takip eder:
- Günlük Denetimi ve Keşif: Gelen trafiği üç gruba sınıflandırmak için geçmiş web sunucusu günlüklerini analiz ederiz: doğrulanmış arama motoru tarayıcıları, doğrulanmış ticari araçlar ve kimliği doğrulanmamış kazıyıcılar.
- Uç Düzeyinde Filtreleme: Hafif JavaScript ve yönetilen doğrulamalar kullanarak şüpheli IP alt ağlarına, ticari proxy aralıklarına ve eski tarayıcı user-agent’larına meydan okumak için uç katmanda web uygulaması güvenlik duvarı kuralları yapılandırırız.
- Ters DNS Doğrulaması: Önemli arama motorları için gerçek PTR kayıtlarını onaylayan otomatik Nginx ve uç kuralları yazarak, otantik Yandex örümceklerinin engelsiz erişim almasını sağlarken taklitçilere HTTP 403 Forbidden sunulmasını sağlarız.
- Kritik Uç Noktalarda Oran Sınırlaması: Brute-force kazıyıcılarının uygulama veritabanını aşırı yüklemesini önlemek için dahili arama sorgularında, oturum açma uç noktalarında ve yönlü katalog filtrelerinde katı eşik limitleri belirleriz.
Arama botlarını hep ya da hiç kategorisi olarak ele almak tehlikeli bir hatadır. Orijinal indeksleme botlarını sıfır gecikmeyle aktif olarak karşılamalı ve meşru olmayan kazıyıcıları kaynak veritabanınıza ulaşmadan önce sonlandırmalısınız.
Alien Road SEO ekibi
Hangi teknik yöntemler yetkisiz tarayıcıları etkili bir şekilde engeller?
Yetkisiz trafiği engellemek çok katmanlı bir savunma gerektirir. Yalnızca robots.txt dosyasına güvenmek kötü amaçlı aktörlere karşı etkisizdir. Bir robots.txt dosyası, iyi huylu botlara hangi yollardan kaçınmaları gerektiğini bildirir; erişim bariyerleri uygulamaz. Kötü amaçlı kazıyıcılar, gizli yönetici dizinlerini ve kısıtlı hazırlık klasörlerini keşfetmek için robots.txt’yi aktif olarak ayrıştırır.
Gerçek bir koruma uygulamak için web yöneticileri sunucu düzeyinde kurallar ve güvenlik duvarı kısıtlamaları devreye almalıdır. Web uygulaması güvenlik duvarları web sunucunuzun önünde çalışarak, istekler uygulamanıza ulaşmadan önce trafik başlıklarını, TLS parmak izlerini ve bağlantı hızını inceler. Dahili arama API’lerinde oran limitleri ayarlamak veritabanı aşırı yüklenmesini önlerken, bilinen barındırma sağlayıcısı özerk sistem numaralarını (ASN) engellemek büyük ölçekli bulut kazıyıcılarının katalog verilerini toplamasını durdurur.
Web sunucusu yapılandırma düzeyinde, Nginx yönergeleri boş veya saçma user-agent başlıklarına sahip istekleri doğrudan soket düzeyinde engelleyebilir. Örneğin, Nginx’te bir HTTP 444 yanıtı döndürmek, yanıt başlıklarını saldırgana geri göndermeden bağlantıyı hemen kapatarak sunucu bant genişliğini ve hesaplama döngülerini korur.
Bu hafta nereden başlamalı
Sunucunuzu kötü amaçlı botlara karşı korumak, toplam bir altyapı yeniden oluşturması gerektirmez. Arama sıralamalarınız için anında güvenlik getirisi sağlayan ölçülebilir iyileştirmelerle başlayın.
- Son 48 saate ait erişim günlüklerinizi çıkarın ve arama motoru tarayıcısı hitleri ile toplam otomatik istekler arasındaki oranı hesaplayın.
- Aktif kimlik sahteciliğini (spoofing) belirlemek için arama motoru botları olarak kendini tanıtan ilk yirmi IP adresinde ters DNS kontrolleri çalıştırın.
- İstenmeyen yazılım bayraklarının veya enjekte edilen metinlerin algılanmadığından emin olmak için güvenlik bildirimleri sekmesi altında Yandex Webmaster araçlarını inceleyin.
- Dahili site arama ve kullanıcı kimlik doğrulama URL’lerinizde oran sınırlama kuralları uygulayın.
- Uç güvenlik duvarı erişim kontrollerini kullanarak idari arayüzlere ve hassas dosya türlerine erişimi kapatın.
Temiz trafik profilleri web sunucunuzu hızlı ve kararlı tutar. Yetkisiz bot trafiğini erken keserek indeksleme bütçenizi korur, kullanıcı güvenliğini sağlarsınız ve arama algoritmalarının yalnızca otantik içeriğinizi görmesini sağlarsınız.