GET, POST ve web'in daha fazlasını güvenle gün yüzüne çıkarmak

01 Kasım 2011, Salı

Web geliştikçe, Google’ın tarama ve dizine ekleme yeteneklerinin de ilerlemesi gerekiyor.
Flash dizine ekleme özelliğimizi geliştirdik,
Caffeine adında daha sağlam bir altyapı oluşturduk ve hatta mantıklı olduğu durumlarda
formları taramaya başladık. Şimdi, özellikle JavaScript’in ve beraberinde AJAX’ın artan popülaritesiyle birlikte, POST istekleri gerektiren daha fazla web sayfasıyla karşılaşıyoruz; bu durum ya sayfanın tüm içeriği için geçerli ya da sayfalar POST ile dönen kaynaklar olmadan eksik bilgi içeriyor veya tamamen bozuk görünüyor. Google Arama için bu durum idealden uzak, çünkü içeriği düzgün bir şekilde keşfedip dizine ekleyemediğimizde, arama yapanlar en kapsamlı ve alakalı sonuçlara erişemeyebilir.

Genel olarak, bir sayfanın ihtiyaç duyduğu kaynakları getirmek için
GET kullanılmasını tavsiye ediyoruz ve bu, tarama için açık ara tercih ettiğimiz yöntemdir. POST isteklerini GET isteklerine dönüştürmek için deneylere başladık; bu bazı durumlarda geçerli bir strateji olsa da, bir web sunucusunun GET ve POST için döndürdüğü içerikler genellikle birbirinden tamamen farklıdır. Ayrıca, POST kullanmak için meşru nedenler de vardır (örneğin, bir POST isteğine GET isteğinden daha fazla veri ekleyebilirsiniz). Dolayısıyla, GET istekleri çok daha yaygın olmaya devam etse de, web’deki daha fazla içeriği ortaya çıkarmak için Googlebot, güvenli ve uygun olduğuna inandığımızda artık POST istekleri gerçekleştirebilir.

Bir sitede istenmeyen bir kullanıcı eyleminin yürütülmesine yol açabilecek herhangi bir işlem yapmaktan kaçınmak için önlemler alıyoruz. POST isteklerimiz, bir sayfanın otomatik olarak talep ettiği kaynakları taramaya yöneliktir ve tipik bir kullanıcının URL’yi tarayıcısında açtığında göreceği şeyi taklit eder. Daha iyi buluşsal yöntemler (heuristics) buldukça bu durum zamanla gelişecektir, ancak mevcut yaklaşımımız budur.

Web ile birlikte gelişmek için tarama ve dizine ekleme süreçlerimizi nasıl iyileştirdiğimizi gösteren birkaç POST isteği senaryosuna göz atalım.

Googlebot’un POST isteklerine örnekler

• Bir POST yönlendirmesi aracılığıyla sayfa tarama
• Bir POST XMLHttpRequest aracılığıyla kaynak tarama: Bu adım adım örnekte, sayfa oluşturulurken (render) üretilen otomatik XMLHttpRequest‘i takip ederek hem sayfanın dizine eklenmesini hem de Anlık Önizlemesini (Instant Preview) iyileştiriyoruz.

1. Google, yummy-sundae.html URL’sini tarar.
2. Google, yummy-sundae.html’i dizine eklemeye başlar ve bu sürecin bir parçası olarak, içeriğini daha iyi anlamak ve/veya Anlık Önizleme oluşturmak için sayfayı oluşturmayı (render) dener.
3. Oluşturma sırasında, yummy-sundae.html otomatik olarak POST yöntemini kullanarak hot-fudge-info.html kaynağı için bir XMLHttpRequest gönderir.
4. POST aracılığıyla istenen hot-fudge-info.html URL’si, veri yüküyle birlikte Googlebot’un tarama kuyruğuna eklenir.
5. Googlebot, hot-fudge-info.html’i taramak için bir POST isteği gerçekleştirir.
6. Google artık Anlık Önizlemeler için yummy-sundae.html’in doğru bir temsiline sahiptir. Bazı durumlarda, hot-fudge-info.html içeriğini de yummy-sundae.html’e dahil edebiliriz.
7. Google, yummy-sundae.html’in dizine ekleme işlemini tamamlar.
8. Kullanıcı “hot fudge sundae” araması yapar.
9. Google’ın algoritmaları artık yummy-sundae.html’in bu sorguyla ne kadar alakalı olduğunu daha iyi belirleyebilir ve Anlık Önizlemeler için sayfanın bir anlık görüntüsünü düzgün bir şekilde görüntüleyebiliriz.

Sitenizin taranabilirliğini ve dizine eklenebilirliğini iyileştirme

Taranabilir siteler oluşturmaya yönelik genel tavsiyeler
Yardım Merkezimizde bulunabilir. İçeriklerinin Google tarafından taranmasına ve dizine eklenmesine ve/veya Anlık Önizleme oluşturulmasına yardımcı olmak isteyen web yöneticileri için işte birkaç basit hatırlatma:

• POST kullanmak için özel bir nedeniniz yoksa, kaynakları getirmek için GET yöntemini tercih edin.
• Sayfanızı oluşturmak için gereken kaynakları taramamıza izin verildiğini doğrulayın. Yukarıdaki örnekte, hot-fudge-info.html dosyası
  robots.txt tarafından engellenmişse, Googlebot onu getirmeyecektir. Daha incelikli bir durum olarak, XMLHttpRequest‘i başlatan JavaScript kodu, robots.txt tarafından engellenen harici bir .js dosyasında bulunuyorsa, yummy-sundae.html ile hot-fudge-info.html arasındaki bağlantıyı göremeyiz; bu nedenle ikincisi engellenmemiş olsa bile bu bize pek yardımcı olmayabilir. Doğada daha karmaşık bağımlılık zincirleri bile gördük. Google’ın sitenizi daha iyi anlamasına yardımcı olmak için Googlebot’un tüm kaynakları taramasına izin vermek neredeyse her zaman daha iyidir.
  Kaynakların engellenip engellenmediğini
  Web Yöneticisi Araçları
  Laboratuvarlar >
  Anlık Önizlemeler üzerinden test edebilirsiniz.
• Googlebot’a, kullanıcıların web tarayıcılarına döndürülen içeriğin aynısını döndürdüğünüzden emin olun.
  Cloaking (Gizleme)
  (Googlebot’a kullanıcılardan farklı içerik göndermek),
  Web Yöneticisi Yönergelerimizin bir ihlalidir çünkü diğer şeylerin yanı sıra, arama yapan kişiye alakasız bir sonuç sunmamıza neden olabilir; kullanıcının tarayıcısında gördüğü içerik, tarayıp dizine eklediğimiz içerikle tamamen uyumsuz olabilir. Web yöneticisinin kötü niyetli olmadan gizleme yaptığı (ki bu yine de bir ihlaldir) çok sayıda POST isteği örneği gördük ve bu gizleme -en küçük değişikliklerde bile- JavaScript hatalarına yol açarak doğru dizine eklemeyi engelledi ve gizleme yapma nedenlerini tamamen boşa çıkardı. Özetle, sitenizin arama dostu olmasını istiyorsanız, gizleme her açıdan kaçınılması gereken sıkıntılı bir durumdur.
  
  Yanlışlıkla gizleme yapmadığınızı doğrulamak için Web Yöneticisi Araçları içindeki
  Anlık Önizlemeler özelliğini kullanabilir veya tarayıcınızdaki User-Agent dizesini şunun gibi bir şeyle değiştirmeyi deneyebilirsiniz:

  Böyle bir değişiklikten sonra siteniz hiçbir şekilde farklı görünmemelidir. Boş bir sayfa, bir JavaScript hatası görüyorsanız veya sayfanın bazı kısımları eksik ya da farklıysa, bir şeyler yanlış demektir.

• Önemli içeriği (yani dizine eklenmesini istediğiniz içeriği), doğrudan sayfada görünen ve görüntülenmesi için kullanıcı eylemi gerektirmeyen metinler olarak eklemeyi unutmayın. Çoğu arama motoru metin tabanlıdır ve genellikle metin tabanlı içerikle en iyi şekilde çalışır. Çeşitli şekillerde yayınlanan içeriği tarama ve dizine ekleme yeteneğimizi sürekli geliştiriyoruz, ancak önemli bilgiler için metin kullanmak iyi bir uygulama olmaya devam ediyor.

İçeriğinizi kontrol etme

İçeriğinizin Google Web Arama için taranmasını veya dizine eklenmesini engellemek istiyorsanız, geleneksel
robots.txt kuralları en iyi yöntem olmaya devam etmektedir. Sayfa(larınız) için Anlık Önizlemeyi engellemek istiyorsanız, lütfen Google Web Preview User-Agent’ını ve nosnippet meta etiketini açıklayan
Anlık Önizlemeler SSS sayfamıza bakın.

İleriye dönük

Arama yapanların daha alakalı bilgileri bulabilmesi için dizinimizin kapsamlılığını artırmaya çalışmaya devam edeceğiz. Tarama ve dizine ekleme yeteneğimizin, tıpkı web’in kendisi gibi zamanla gelişmesini ve ilerlemesini bekliyoruz. Sorularınız veya endişeleriniz varsa lütfen bize bildirin.

Yazan:
Pawel Aleksander Fedorynski,
Yazılım Mühendisi, Dizine Ekleme Ekibi ve
Maile Ohye,
Geliştirici Programları Teknik Lideri