Haberler için Yeni User Agent

02 Aralık 2009, Çarşamba

Bugün, yayıncılara içerikleri üzerinde daha fazla kontrol sağlayan Googlebot-News adlı yeni bir robots.txt kullanıcı aracısını duyuruyoruz. Eğer robots.txt hakkında bilginiz yoksa, bu dosya 1994’ten beri kullanımda olan, tüm büyük arama motorları ve web’i işleyen düzgün yapılandırılmış “robotlar” tarafından desteklenen web genelinde bir standarttır. Bir arama motoru, bir web sayfasını tarama ve dizine ekleme izni olup olmadığını kontrol ettiğinde, “bu sayfayı taramamıza izin var mı” mekanizması robots.txt’dir.

Yayıncılar, Google Haberler’de yer almak istemeyip Google’ın web arama dizininde yer almak istediklerinde bir form aracılığıyla bizimle kolayca iletişime geçebiliyorlardı. Artık yayıncılar, Google Haberler’deki içeriklerini çok daha otomatik bir şekilde yönetebiliyorlar. Site sahipleri, robots.txt dosyalarına Googlebot-News‘e özel kurallar ekleyebilirler. Googlebot ve Googlebot-Image kullanıcı aracılarına benzer şekilde, yeni Googlebot-News kullanıcı aracısı, bir web sitesinin hangi sayfalarının taranacağını ve nihayetinde Google Haberler’de görüneceğini belirlemek için kullanılabilir.

İşte yayıncılar için birkaç örnek:

Sayfaları hem Google web arama hem de Haberler’e dahil etme:

Bu en kolay durumdur. Hatta bu durum için bir robots.txt dosyasına bile gerek yoktur.

Sayfaları Google web aramaya dahil etme, ancak Haberler’e dahil etmeme:

Bu robots.txt dosyası, Googlebot adlı genel web tarayıcımız için hiçbir dosyanın engellenmediğini, ancak Googlebot-News kullanıcı aracısının web sitesindeki tüm dosyalardan engellendiğini belirtir.

Sayfaları Google Haberler’e dahil etme, ancak Google web aramaya dahil etmeme:

Google, bir robots.txt dosyasını ayrıştırırken en spesifik kurala uyar. İlk iki satır, Googlebot’un (Google’ın web dizini için kullanıcı aracısı) sitedeki sayfaları taramasının engellendiğini belirtir. Google Haberler için daha spesifik olan kullanıcı aracısına uygulanan bir sonraki kural, Googlebot’un engellenmesini geçersiz kılar ve Google Haberler’e web sitesindeki sayfaları tarama izni verir.

Google web arama ve Google Haberler’den farklı sayfa gruplarını engelleme:

Google web arama ve Google Haberler’den engellenen sayfalar bağımsız olarak kontrol edilebilir. Bu robots.txt dosyası, güncel haber makalelerini (/latest_news klasöründeki URL’ler) Google web aramadan engeller ancak Google Haberler’de görünmelerine izin verir. Bunun aksine, premium içerikleri (/archives klasöründeki URL’ler) Google Haberler’den engeller ancak Google web aramada görünmelerine izin verir.

Google web arama ve Google Haberler’in sayfaları taramasını durdurma:

Bu robots.txt dosyası Google’a, web arama tarayıcımızın kullanıcı aracısı olan Googlebot’un sitedeki hiçbir sayfayı taramaması gerektiğini söyler. Googlebot-News için özel bir kural verilmediğinden, Haberler aramamız Googlebot için olan genel yönergeye uyacak ve Google Haberler için sayfaları taramayacaktır.

Bazı sorgular için, normal web arama sonuçlarımızın yanı sıra web arama sonuçları sayfasında ayrı bir kutu veya bölümde Google Haberler’den sonuçlar görüntüleriz. Bunu bazen Görseller, Videolar, Haritalar ve Ürünler için de yaparız. Bu, Evrensel arama sonuçları olarak bilinir. Google Haberler, Evrensel “Haberler” arama sonuçlarını desteklediğinden, Googlebot-News kullanıcı aracısını engellerseniz sitenizin haberleri Evrensel arama sonuçlarına dahil edilmeyecektir.

Şu anda yeni kullanıcı aracısı desteğimizi test ediyoruz. Herhangi bir sorunla karşılaşırsanız lütfen bize bildirin. Google’ın, sayfayı taramadığımız durumlarda bile bazı durumlarda bir sayfaya bağlantı döndürebileceğini unutmayın. robots.txt hakkında daha fazla bilgi edinmek isterseniz, web sitemizde ek belgeler sunuyoruz. Web yöneticilerinin, Googlebot-News kullanıcı aracısının sağladığı esneklik ve daha kolay yönetimden memnun kalacağını umuyoruz.

Yazan: Jonathan Simon, Web Yöneticisi Trendleri Analisti