Scraper kaynaklı kopya içerik

9 Haziran 2008, Pazartesi

Kopya içerik web yöneticileri arasında popüler bir konu olduğundan, konferanslarda ve Google Web Yöneticisi Yardım Grubu‘nda düzenli olarak aldığımız yaygın soruları yanıtlamanın tam zamanı olduğunu düşündük.

Konuya girmeden önce, web yöneticilerinin sıklıkla dile getirdiği bir endişeye kısaca değinmek istiyorum: Çoğu durumda web yöneticisi, içeriği izinsiz olarak kopyalayıp yeniden dağıtan üçüncü taraflar üzerinde bir etkiye sahip değildir. Bunun, etkilenen web yöneticisinin hatası olmadığının farkındayız; bu da aynı içeriğin birden fazla sitede görünmesinin, tek başına web yöneticisi yönergelerimizin bir ihlali olarak kabul edilmediği anlamına gelir. Bu durum sadece içeriğin orijinal kaynağını belirlemeye yönelik ek süreçleri tetikler; Google bu konuda oldukça başarılıdır ve çoğu durumda orijinal içerik doğru bir şekilde tanımlanarak içeriği oluşturan site için herhangi bir olumsuz etki yaratmaz.

Genel olarak, kopya içerikle ilgili sorunlar için iki ana senaryo arasında ayrım yapabiliriz:

• Alan adınız içindeki kopya içerik; yani sitenizde birden fazla yerde (genellikle istem dışı) görünen aynı içerik.
• Alan adları arası kopya içerik; yani sitenizdeki aynı içeriğin farklı harici sitelerde (yine genellikle istem dışı) görünmesi.

İlk senaryoda, Google’ın sitenizdeki kopya içeriği dizine eklemesini önlemek için kontrolü elinize alabilirsiniz. Adam Lasnik’in Deftly dealing with duplicate content ve Vanessa Fox’un Duplicate content summit at SMX Advanced başlıklı yazılarına göz atın; her ikisi de sitenizdeki kopya içerik sorunlarını çözmek için harika ipuçları sunuyor. Sitenizdeki içeriğin kopya olarak taranmasını önlemeye yardımcı olacak bir ek ipucu daha: URL’lerinizin tercih edilen sürümünü Site Haritası dosyanıza ekleyin. Aynı içeriğe sahip farklı sayfalarla karşılaşıldığında, bu durum tercih ettiğiniz sürümü sunma olasılığımızı artırabilir. Kopya içerik hakkında daha fazla bilgiyi, bu konuyu ele alan kapsamlı Yardım Merkezi makalemizde bulabilirsiniz.

İkinci senaryoda, birinin içeriğinizi genellikle para kazanmak amacıyla farklı bir sitede yayınlamak için kopyaladığı bir durumla karşılaşabilirsiniz. Ayrıca, birçok web proxy’sinin, proxy üzerinden erişilen sitelerin bölümlerini dizine eklemesi de yaygındır. Farklı sitelerde bu tür kopya içeriklerle karşılaştığımızda, hangi sitenin orijinal olduğunu belirlemek için çeşitli sinyallere bakarız ve bu genellikle çok iyi çalışır. Bu, birinin içeriğinizi kopyaladığını fark ederseniz sitenizin Google’daki varlığının olumsuz etkilenmesi konusunda çok endişelenmemeniz gerektiği anlamına gelir.

İçeriğinizi dağıtıyorsanız ancak sitenizin orijinal kaynak olarak tanımlandığından emin olmak istiyorsanız, dağıtım ortaklarınızdan orijinal içeriğinize geri bağlantı vermelerini istemeniz faydalı olacaktır. Dağıtılan içerikle başa çıkma konusunda bazı ek ipuçlarını Vanessa Fox’un yakın tarihli bir yazısı olan Ranking as the original source for content you syndicate başlıklı makalesinde bulabilirsiniz.

Bazı web yöneticileri, kopyalanan içeriğin orijinal kaynaktan daha üst sıralarda yer almasına neyin sebep olabileceğini sordu. Bu nadir bir durum olmalıdır, ancak kendinizi bu durumda bulursanız:

• İçeriğinizin tarayıcılarımız için hala erişilebilir olup olmadığını kontrol edin. robots.txt dosyanızda içeriğinizin bazı bölümlerine erişimi istemeden engellemiş olabilirsiniz.
• Kopyalanan belirli içerik için değişiklik yapıp yapmadığınızı görmek üzere Site Haritası dosyanıza bakabilirsiniz.
• Sitenizin web yöneticisi yönergelerimize uygun olup olmadığını kontrol edin.

Sonuç olarak, çoğu durumda kopya içeriğe sahip olmanın sitenizin Google dizinindeki varlığı üzerinde olumsuz bir etkisi olmadığını belirtmek isterim. İçerik sadece filtrelenir. Yukarıdaki kaynaklarda belirtilen ipuçlarından bazılarına göz atarsanız, temelde neyin taranıp dizine eklendiği ve hangi sürümlerin dizinde görünme olasılığının daha yüksek olduğu konusunda nasıl daha fazla kontrol sahibi olacağınızı öğreneceksiniz. Yalnızca kasıtlı ve kötü niyetli bir girişim olduğuna dair sinyaller olduğunda, kopya içerik durumları web yöneticisi yönergelerinin bir ihlali olarak değerlendirilebilir.

Bu konuyu daha fazla tartışmak isterseniz, Web Yöneticisi Yardım Grubumuzu ziyaret edebilirsiniz.

Yazan: Sven Naumann, Arama Kalitesi Ekibi