URL kaldırma rehberi, Bölüm I: URL'ler ve dizinler

30 Mart 2010, Salı

Günümüzde internette
çok fazla içerik var.
Bazen, internette yer almasını istemeyeceğiniz bir şey karşınıza çıkabilir; yayınladığınız için pişman olduğunuz kışkırtıcı bir blog yazısından, yanlışlıkla açığa çıkan gizli verilere kadar her şey olabilir. Çoğu durumda, bu içeriği silmek veya erişimi kısıtlamak, içeriğin bir süre sonra arama sonuçlarından doğal bir şekilde düşmesini sağlar. Ancak, Google tarafından dizine eklenmiş istenmeyen bir içeriği acilen kaldırmanız gerekiyorsa ve doğal yollarla kaybolmasını bekleyemiyorsanız, belirli kriterleri (aşağıda ele alacağız) karşıladığı sürece, arama sonuçlarımızdan kaldırma işlemini hızlandırmak için URL kaldırma aracımızı kullanabilirsiniz.

Çeşitli içerik türlerini nasıl başarılı bir şekilde kaldıracağınızı ve kaçınmanız gereken yaygın hataları açıklayan bir dizi blog yazısı hazırladık. Bu ilk yazıda, birkaç temel senaryoyu ele alacağım: tek bir URL’yi kaldırma, tüm dizini veya siteyi kaldırma ve kaldırılan içeriği yeniden dahil etme. Ayrıca,
çevrimiçi ortamda hakkınızdaki bilgileri yönetme konulu önceki yazımıza da göz atmanızı şiddetle tavsiye ederim.

Tek bir URL’yi kaldırma

Genel olarak, kaldırma taleplerinizin başarılı olması için, söz konusu URL’nin (veya URL’lerin) sahibi—bu kişi siz veya başkası olabilir—içeriğin kaldırılmasında bir sakınca olmadığını belirtmiş olmalıdır. Tek bir URL için bu durum üç yoldan biriyle belirtilebilir:

• sayfanın taranmasını bir
  robots.txt dosyası
  aracılığıyla engellemek
• sayfanın dizine eklenmesini bir
  noindex meta etiketi
  aracılığıyla engellemek
• bir
  404 veya 410 durum kodu
  döndürerek sayfanın artık mevcut olmadığını belirtmek

Bir kaldırma talebi göndermeden önce, URL’nin doğru şekilde engellenip engellenmediğini kontrol edebilirsiniz:

• robots.txt: URL’nin doğru şekilde engellenip engellenmediğini, Webmaster Araçları’ndaki
  Googlebot gibi getir
  veya
  robots.txt’yi test et
  özelliklerini kullanarak kontrol edebilirsiniz.
• noindex meta etiketi: meta etiketinin <head> ve </head> etiketleri arasında bir yerde göründüğünden emin olmak için Googlebot gibi getir özelliğini kullanabilirsiniz. Webmaster Araçları’nda doğrulayamadığınız bir sayfayı kontrol etmek isterseniz, URL’yi bir tarayıcıda açıp Görünüm > Sayfa kaynağı kısmına gidebilir ve meta etiketini <head> ve </head> etiketleri arasında gördüğünüzden emin olabilirsiniz.
• 404 ve 410 durum kodu: URL’nin gerçekten doğru kodu döndürüp döndürmediğini doğrulamak için Googlebot gibi getir özelliğini veya
  Live HTTP Headers
  ya da web-sniffer.net gibi araçları kullanabilirsiniz. Bazen “silinmiş” sayfalar, sayfa üzerinde “404” veya “Bulunamadı” yazsa bile, sayfa başlığında 200 durum kodu döndürebilir; bu yüzden doğru başlık kontrolü yapan bir araç kullanmakta fayda vardır.

İstenmeyen içerik bir sayfadan kaldırılmış ancak sayfa yukarıdaki yöntemlerden hiçbiriyle engellenmemişse, o URL’yi arama sonuçlarımızdan tamamen kaldıramazsınız. Bu durum, genellikle içeriği barındıran sitenin sahibi olmadığınızda yaşanır. Bu durumda ne yapmanız gerektiğini, kaldırma serimizin bir sonraki yazısı olan
Bölüm II’de ele alıyoruz.

Bir URL yukarıdaki kriterlerden birini karşılıyorsa,
Kaldırma Aracı’na gidip, kaldırmak istediğiniz URL’yi girerek ve “Web yöneticisi sayfayı zaten engelledi” seçeneğini belirleyerek onu kaldırabilirsiniz. İçeriğin barındırıldığı URL’yi girmeniz gerektiğini, Google arama sonuçlarında göründüğü URL’yi girmemeniz gerektiğini unutmayın. Örneğin,
https://www.example.com/embarrassing-stuff.html adresini girin,
https://www.google.com/search?q=embarrassing+stuff adresini değil.

Yardım merkezi makalemiz,
doğru URL’yi girdiğinizden emin olmanızla ilgili daha fazla ayrıntı içermektedir. Sizi rahatsız eden tam URL’yi bize bildirmezseniz, aklınızdaki içeriği kaldıramayacağımızı unutmayın.

Tüm dizini veya siteyi kaldırma

Dizin veya site genelinde bir kaldırma işleminin başarılı olması için, dizin veya sitenin sitenin
robots.txt dosyasında engellenmiş olması gerekir. Örneğin, https://www.example.com/secret/ dizinini kaldırmak için,
robots.txt dosyanızın şunları içermesi gerekir:

Dizinin kök dizininin 404 durum kodu döndürmesi yeterli değildir, çünkü bir dizinin 404 döndürüp yine de altındaki dosyaları sunması mümkündür. Bir dizini (veya tüm siteyi) engellemek için robots.txt kullanmak, o dizin (veya site) altındaki tüm URL’lerin de engellenmesini sağlar. Bir dizinin doğru şekilde engellenip engellenmediğini, Webmaster Araçları’ndaki
Googlebot gibi getir
veya
robots.txt’yi test et
özelliklerini kullanarak test edebilirsiniz.

Yalnızca bir sitenin doğrulanmış sahipleri, Webmaster Araçları’nda tüm sitenin veya dizinin kaldırılmasını talep edebilir. Bir dizinin veya sitenin kaldırılmasını talep etmek için, söz konusu siteye tıklayın, ardından Site yapılandırması >
Tarayıcı erişimi >
URL kaldır kısmına gidin. Kaldırmak istediğiniz URL olarak sitenizin kök dizinini girerseniz, tüm siteyi kaldırmak istediğinizi onaylamanız istenecektir. Bir alt dizin girerseniz, açılır menüden “Dizini kaldır” seçeneğini belirleyin.

İçeriği yeniden dahil etme

Sahibi olduğunuz herhangi bir site için, başkaları tarafından gönderilenler de dahil olmak üzere, kaldırma taleplerini istediğiniz zaman iptal edebilirsiniz. Bunu yapmak için, Webmaster Araçları’nda
bu sitenin doğrulanmış sahibi olmanız gerekir. Sahipliği doğruladıktan sonra,
Site yapılandırması >
Tarayıcı erişimi >
URL kaldır >
Kaldırılan URL’ler (veya > Başkaları tarafından yapılanlar) kısmına gidebilir ve iptal etmek istediğiniz taleplerin yanındaki “İptal” düğmesine tıklayabilirsiniz.

Hâlâ sorularınız mı var? Google arama sonuçlarından içerik kaldırma konulu serimizin geri kalanı için takipte kalın. Bekleyemiyorsanız, URL kaldırma ve bireysel durumların sorunlarını giderme hakkında
Yardım Forumumuzda zaten çok şey yazıldı. Başkalarının deneyimlerini okuduktan sonra hâlâ sorularınız varsa, sorabilirsiniz. Çoğu durumda, söz konusu siteyi veya URL’yi bilmeden belirli bir kaldırma işlemi hakkında ilgili tavsiye vermenin zor olduğunu unutmayın. URL’nizi, endişelendiğiniz URL’nin gönderinizin bir parçası olarak dizine eklenmemesi için bir
URL kısaltma hizmeti kullanarak paylaşmanızı öneririz; bazı kısaltma hizmetleri, sorunuz çözüldükten sonra kısayolu daha sonra devre dışı bırakmanıza bile izin verir.

Bu serinin diğer yazıları

• Bölüm II: Önbelleğe alınmış içeriği kaldırma ve güncelleme
• Bölüm III: Sahibi olmadığınız içeriği kaldırma
• Bölüm IV: Talepleri takip etme, nelerin kaldırılmaması gerektiği

Son olarak,
çevrimiçi ortamda hakkınızdaki bilgileri yönetme hakkında okumak da ilginizi çekebilir.

Yazan: Susan Moskwa, Web Yöneticisi Trendleri Analisti