Googlebot ile Randevu, Bölüm II: HTTP durum kodları ve If-Modified-Since

27 Kasım 2008, Perşembe

Googlebot ile olan randevumuz harikaydı, ancak biz web sitelerinin doğru şeyleri söyleyip söylemediğimizi kestirmek zor. 301 kalıcı yönlendirme döndürdük, ancak bunun yerine 302 geçici yönlendirme ile yanıt vermeli miydik (böylece naz yaptığımızı anlardı)? Eğer birkaç yeni 404 hatası gönderirsek, Googlebot sitemizi tekrar ziyaret eder mi? If-Modified-Since başlığını desteklemeli miyiz? Bu sorular, tıpkı gençlik aşkları gibi kafa karıştırıcı olabilir. Öyleyse lafı daha fazla uzatmadan, uzman Googlebot’a soralım ve yanıtlarımızı (kodlarımızı) nasıl değerlendirdiğini öğrenelim.

Sevgili Googlebot,
Geçenlerde sitemde bahar temizliği yaptım ve eski, yetim kalmış birkaç sayfayı sildim. Bu sayfalar artık 404 “Sayfa bulunamadı” kodu döndürüyor. Bu durum sorun olur mu, yoksa kafanı mı karıştırdım?

Frankie O’Fore

Sevgili Frankie,

404 hataları, bana bir sayfanın artık var olmadığını söylemenin standart yoludur. Alınmayacağım; eski sayfaların web sitelerinden temizlenmesi veya daha güncel içeriklerle değiştirilmesi normaldir. Çoğu web sitesi, Web Yöneticisi Araçları’ndaki Tarama Tanıları kısmında bir avuç 404 hatası gösterir. Bu gerçekten büyük bir mesele değil. İndekslenebilir tüm içeriğinize bağlantılar içeren iyi bir site mimariniz olduğu sürece mutlu olurum, çünkü bu, ihtiyacım olan her şeyi bulabileceğim anlamına gelir.

Ancak unutmayın, sitenize gelen sadece ben değilim; bu sayfaları gören insanlar da olabilir. Eğer sadece çok basit bir ‘404 sayfa bulunamadı’ mesajınız varsa, teknolojiye o kadar aşina olmayan ziyaretçiler şaşkına dönebilir. 404 sayfanızı daha kullanıcı dostu hale getirmenin birçok yolu vardır; hızlı bir yöntem, Web Yöneticisi Araçları’ndaki, insanları var olan içeriğe yönlendirmeye yardımcı olacak 404 widget’ımızı kullanmaktır. Daha fazla bilgi için blog yazısını okuyabilirsiniz. Büyük veya küçük çoğu web barındırma şirketi, 404 sayfanızı (ve diğer yanıt kodlarını da) özelleştirmenize izin verecektir.

Sevgilerimle,
Googlebot

Hey Googlebot,
Frankie’ye verdiğin yanıtı okuyordum ve aklıma birkaç soru takıldı.
Ya birisi artık var olmayan bir sayfaya bağlantı veriyorsa? Ziyaretçilerimin aradıklarını bulduklarından nasıl emin olabilirim? Ayrıca, bazı sayfaların yerini değiştirirsem ne olur? Sitemi daha iyi organize etmek istiyorum ama kafanın karışacağından endişeleniyorum. Sana nasıl yardımcı olabilirim?

Umutla,
Küçük Jimmy

Merhaba Jimmy,

Mektubundaki anakronizmleri görmezden gelip konunun özüne inelim. Öncelikle, diğer sitelerden gelen bağlantılara bakalım. Bunlar harika bir trafik kaynağı olabilir ve ziyaretçilerin kullanıcı dostu olmayan bir ‘Sayfa bulunamadı’ mesajıyla karşılaşmasını istemezsiniz. Bu yüzden, güçlü yönlendirmenin gücünden yararlanabilirsiniz.

İki tür yönlendirme vardır: 301 ve 302. Aslında çok daha fazlası var ama şu an bizim ilgileneceğimiz ikisi bunlar. Tıpkı 404 gibi, 301 ve 302 de kullanıcılara ve arama motoru tarayıcılarına gönderebileceğiniz farklı yanıt kodlarıdır. Her ikisi de yönlendirmedir, ancak 301 kalıcı, 302 ise geçicidir. 301 yönlendirmesi bana, bu sayfa eskiden ne olursa olsun artık başka bir yerde yaşadığını söyler. Bu, sitenizi yeniden düzenlerken ve site dışından gelen bağlantılar için mükemmeldir. Ne zaman bir 301 görsem, o eski sayfaya yapılan tüm referansları, bana bildirdiğiniz yeni sayfayla güncellerim. Bu kadar kolay değil mi?

Yönlendirmelere nereden başlayacağınızı bilmiyorsanız, size yardımcı olayım. Bu, web sunucunuza bağlıdır, ancak faydalı olabilecek bazı aramalar şunlardır:

• Apache: 301 redirect apache
• IIS: 301 redirect iis

Ayrıca kılavuzunuza veya sunucunuzla birlikte gelen README dosyalarına da bakabilirsiniz.

Yönlendirmeye alternatif olarak, size bağlantı veren sitenin web yöneticisine e-posta gönderip bağlantılarını güncellemelerini isteyebilirsiniz. Size hangi sitelerin bağlantı verdiğinden emin değil misiniz? Üzülmeyin; insan iş arkadaşlarım bunu anlamayı kolaylaştırdı. Web Yöneticisi Araçları’nın “Bağlantılar” bölümünde, sitenizdeki belirli bir URL’ye kimin bağlantı verdiğini belirlemek için o URL’yi girebilirsiniz.

İnsan iş arkadaşlarım ayrıca sitenizdeki var olmayan sayfalara bağlantı veren URL’leri gösteren bir araç yayınladı.

Bilgilerimle,
Googlebot

Sevgili Googlebot,
Bir sorunum var; web’in çok dinamik bir kısmında yaşıyorum ve sürekli fikir değiştiriyorum. Bana soru sorduğunda, hiçbir zaman iki kez aynı yanıtı vermiyorum; en popüler konularım her saat değişiyor ve sürekli yeni içerik ekliyorum! Sen net cevaplar isteyen, net birine benziyorsun. İşler değiştiğinde kafanı karıştırmadan sana nasıl haber verebilirim?

Temp O’Rary

Sevgili Temp,

Küçük Jimmy’ye 301 yönlendirmelerinin yeni adresinizi Googlebot’a bildirmenin en iyi yolu olduğunu söyledim, ancak sizin aradığınız şey bir 302.

İndekslendikten sonra, ziyaretçilerinize adresinizin hala doğru olduğunu ancak içeriğin geçici olarak başka bir yerde bulunabileceğini söylemenin nazik yolu budur. Bu durumlarda, bir 302 (veya daha nadir olan 307 geçici yönlendirme) daha iyi olacaktır. Örneğin, Orkut https://orkut.com adresinden https://google.com/accounts/login?service=orkut adresine yönlendirir; bu, insanların Orkut’u ararken pek de yararlı bulmayacağı bir sayfadır.

Başlangıç olarak, farklı bir alan adında. Bu yüzden, URL’nin tüm içeriğinin ve bağlantı özelliklerinin hedefe güncellenmemesi gerektiğini, bunun sadece geçici bir sayfa olduğunu bana bildirmek için bir 302 kullanılmıştır.

İşte bu yüzden Orkut’u aradığınızda o uzun URL’yi değil, orkut.com’u görürsünüz.

Unutmayın: basit iletişim, her ilişkinin anahtarıdır.

Arkadaşın,
Googlebot

Kaptan Googlebot,
Ben kendini yeniden keşfetmeyi seven türden bir siteyim. Arkadaşlarımın sitelerindeki bana verilen bağlantıların hepsinin, birkaç tasarım değişikliği önce kurtulduğum URL’lere olduğunu fark ettim! Bu sayfalar için yeni URL’lerime 301 yönlendirmeleri ayarlamıştım, ancak daha sonra yeni URL’leri de bir sonraki sürümüme 301 ile yönlendirdim. Şimdi korkuyorum ki, tarama yapmak için geldiğinde onların talimatlarını izlersen, o kadar uzun bir 301 yönlendirme zinciri izleyeceksin ki sonunda artık beni ziyarete gelmeyeceksin.

Ethel Binky

Sevgili Ethel,
Görünüşe göre yönlendirmeleri başka yönlendirmelere yönlendiren bazı URL’ler ayarlamışsın… aman Tanrım! Az miktarda bu “tekrar eden yönlendirmeler” anlaşılabilir, ancak bunları neden kullandığını düşünmeye değer. Ortadaki 301 yönlendirmelerini kaldırıp hepsinde beni doğrudan nihai hedefe gönderirsen, ikimizin de bolca zamanından ve HTTP isteğinden tasarruf edersin. Ama sadece bizi düşünme. Diğer insanlar durum çubuklarında aynı ‘bağlanıyor… yükleniyor… bağlanıyor…’ oyununu görmekten yoruluyorlar.

Kendini onların yerine koy; eğer yönlendirme zincirin oldukça uzun görünmeye başlarsa, kullanıcılar onları sonsuz bir döngüye soktuğundan korkabilir! Botlar da insanlar da bu tür “ebedi bağlılıktan” korkabilir. Bunun yerine, o zincirleme yönlendirmelerden kurtulmaya çalış ya da en azından kısa tut. İnsanları düşün!

Düşünceli bir şekilde,
Googlebot

Sevgili Googlebot,
Beni sevdiğini biliyorum; hatta 10 yıldır değişmeyen üniversite tezim gibi değiştirilmemiş dosyalarımı bile benden istiyorsun. Bu gerçekten büyük bir zahmet olmaya başladı! Değerli bant genişliğimi harcamanı önlemek için yapabileceğim bir şey var mı?

Janet Crinklenose

Janet, Janet, Janet,
Görünüşe göre yeni bir ifade öğrenmek isteyebilirsin: 304 (Not Modified - Değiştirilmedi). Eğer bir URL’yi daha önce gördüysem, isteğimin başlığına bir If-Modified-Since eklerim. Bu satır aynı zamanda HTTP formatında bir tarih dizisi içerir. Eğer bana o dosyanın bir kopyasını daha göndermek istemiyorsan, kendine güven ve 304 (Not Modified) durum koduyla normal bir HTTP başlığı gönder! Bilgiyi severim ve bu da buna dahil. Bunu yaptığında, bana dosyanın bir kopyasını göndermene gerek kalmaz; bu da bant genişliğini boşa harcamadığın ve bana sürekli aynı şeyleri veriyormuşsun gibi hissetmediğim anlamına gelir.

Muhtemelen birçok tarayıcının ve proxy’nin de başlıklarında If-Modified-Since dediğini fark etmişsindir. O can sıkıcı bant genişliği faturasını dizginleme yolunda ilerleyebilirsin.

Şimdi git ve biraz bant genişliği tasarrufu yap!
Eski dostun Googlebot

Googlebot çok yardımcı oldu! Artık kullanıcılara ve arama motorlarına en iyi nasıl yanıt vereceğimizi biliyoruz. Ancak bir dahaki sefere bir araya geldiğimizde, robotla uzun ve samimi bir sohbet etme vakti (Googlebot ile Randevu: Bölüm III, yakında geliyor!).

Geliştirici Temsilcisi Chewy [Trewhella]’ya anlatıldığı gibi