Robots.txtrobots.txt kullanımı
robots.txt, arama motoru botları için tarama parametrelerini belirler. Belirli bölümleri kısıtlamak sunucu yükünü azaltır ve siteyi hızlandırır. Yandex, Robots Exclusion…
Robots.txt
Robots.txtUser-agent direktifi
Robot, User-agent: ile başlayan kayıtları arar ve Yandex alt dizisi (büyük/küçük harf duyarsız) ya da * ile eşleşme sağlar. Öncelik…
Disallow ve Allow direktifleri
Disallow, bölümlerin veya sayfaların taranmasını engeller; Allow ise bunlara izin verir. Yandex, Disallow arkasında nelerin yer alması gerektiğini listeler: gizli…
Robots.txtSitemap yönergesi
Sitemap yönergesi, site haritasının nerede bulunduğunu belirtir. Her satıra bir tane gelecek şekilde birden fazla listeleyebilirsiniz: User-agent: Yandex Allow: /…
Crawl-delay direktifi
Crawl-delay, 22 Şubat 2018’den beri Yandex tarafından dikkate alınmamaktadır. Bu direktifi hala barındıran her site, hiçbir işlevi olmayan bir satırı…
Robots.txtClean-param direktifi
Clean-param, başka hiçbir yerde eşdeğeri olmayan bir Yandex uzantısıdır: robota hangi URL parametrelerinin sayfa içeriğini değiştirmediğini bildirir, böylece varyantlar tek…
Robots.txtBir robotun Yandex'e ait olduğu nasıl doğrulanır
Robotlar, user agent ayarlarını değiştirerek Yandex olduklarını iddia edebilirler. Doğrulama işlemi ters DNS sorgusu (reverse DNS lookup) ile yapılır ve…
Robots.txtSite veya sunucu üzerindeki yükü nasıl azaltabilirim?
Robot, kendi ziyaretlerini planlar ve yükü otomatik olarak ayarlar. Yeni bir bölüm, yapısal bir değişiklik veya yeni URL grupları keşfettiğinde…