Bu bölümdeki konular, içeriğinizin Arama ve diğer Google özelliklerinde gösterilmesi için Google’ın içeriğinizi bulma ve ayrıştırma yeteneğini nasıl kontrol edebileceğinizi ve sitenizdeki belirli içeriklerin Google tarafından taranmasını nasıl engelleyebileceğinizi açıklamaktadır.
Her sayfanın kısa bir açıklaması aşağıdadır. Tarama ve dizine ekleme hakkında genel bir bakış için Arama nasıl çalışır kılavuzumuzu okuyun.

Google tarafından dizine eklenebilir dosya türleri
Google, çoğu sayfa ve dosya türünün içeriğini dizine ekleyebilir. Dizine eklediğimiz en yaygın dosya türleri şunlardır:
Metin (.txt, .text, diğer dosya uzantıları), yaygın programlama dillerindeki kaynak kodu dahil: Temel kaynak kodu (.bas)
Dosya türüne göre arama
Sonuçları belirli bir dosya türüyle sınırlamak için Google Arama’da filetype: operatörünü kullanabilirsiniz. Örneğin, filetype:rtf galway araması, içinde “galway” terimi geçen RTF dosyalarını arayacaktır.

Basit bir URL yapısı kullanın
Bir sitenin URL yapısı mümkün olduğunca basit olmalıdır. İçeriğinizi, URL’ler mantıksal olarak ve insanlar için en anlaşılır şekilde oluşturulacak şekilde düzenlemeyi düşünün.
Önerilen: Gerektiğinde UTF-8 kodlaması kullanın. Örneğin, aşağıdaki örnek URL’deki Arapça karakterler için UTF-8 kodlamasını kullanır:
Siteniz çok bölgeli ise, sitenize GEO hedeflemesi yapmayı kolaylaştıran bir URL yapısı kullanmayı düşünün. URL’lerinizi nasıl yapılandırabileceğinize dair daha fazla örnek için yerel ayara özel URL’ler kullanma bölümüne bakın.
URL’lerinizdeki kelimeleri ayırmak için kısa çizgi kullanmayı düşünün; bu, kullanıcıların ve arama motorlarının URL’deki kavramları daha kolay tanımlamasına yardımcı olur. URL’lerinizde alt çizgi ( _ ) yerine kısa çizgi ( – ) kullanmanızı öneririz.
Aşırı karmaşık URL’ler, özellikle birden fazla parametre içerenler, sitenizdeki aynı veya benzer içeriğe işaret eden gereksiz derecede yüksek sayıda URL oluşturarak tarayıcılar için sorunlara neden olabilir. Sonuç olarak, Googlebot gerekenden çok daha fazla bant genişliği tüketebilir veya sitenizdeki tüm içeriği tamamen dizine ekleyemeyebilir.
Bu sorunun yaygın nedenleri
Öğe kümesinin eklemeli filtrelemesi. Birçok site, aynı öğe kümesinin veya arama sonuçlarının farklı görünümlerini sunar ve genellikle kullanıcının bu kümeyi tanımlanmış kriterleri kullanarak filtrelemesine olanak tanır (örneğin: bana plajdaki otelleri göster). Filtreler eklemeli bir şekilde birleştirilebildiğinde (örneğin: plajdaki ve spor salonu olan oteller), sitelerdeki URL sayısı (veri görünümleri) patlama yapar. Çok sayıda küçük farklı otel listesi oluşturmak gereksizdir, çünkü Googlebot’un her bir otelin sayfasına ulaşabileceği az sayıda liste görmesi yeterlidir. Örneğin: “Fiyat avantajlı” otel özellikleri:https://www.example.com/hotel-search-results.jsp?Ne=292&N=461
Belgelerin dinamik olarak oluşturulması. Bu, sayaçlar, zaman damgaları veya reklamlar nedeniyle küçük değişikliklere yol açabilir.
URL’deki sorunlu parametreler. Örneğin oturum kimlikleri, çok büyük miktarda kopya ve daha fazla sayıda URL oluşturabilir.
Sıralama parametreleri. Bazı büyük alışveriş siteleri, aynı öğeleri sıralamak için birden fazla yol sunar ve bu da çok daha fazla sayıda URL ile sonuçlanır. Örneğin:https://www.example.com/results?search_type=search_videos&search_query=tpb&search_sort=relevance&search_category=25
Takvim sorunları. Dinamik olarak oluşturulan bir takvim, başlangıç veya bitiş tarihlerinde hiçbir kısıtlama olmaksızın gelecekteki ve geçmiş tarihlere bağlantılar oluşturabilir. Örneğin:https://www.example.com/calendar.php?d=13&m=8&y=2011
Bozuk göreli bağlantılar. Bozuk göreli bağlantılar genellikle sonsuz boşluklara neden olabilir. Bu sorun genellikle tekrarlanan yol öğeleri nedeniyle ortaya çıkar. Örneğin:https://www.example.com/index.shtml/discuss/category/school/061121/html/interview/category/health/070223/html/category/business/070302/html/category/community/070413/html/FAQ.htm
Bu sorunu çözme
Googlebot’un sorunlu URL’lere erişimini engellemek için bir robots.txt dosyası kullanmayı düşünün. Genellikle, arama sonuçları oluşturan URL’ler gibi dinamik URL’leri veya takvimler gibi sonsuz boşluklar oluşturabilen URL’leri engellemeyi düşünün. Robots.txt dosyanızda düzenli ifadeler kullanmak, çok sayıda URL’yi kolayca engellemenizi sağlayabilir.
Sitenizde sonsuz bir takvim varsa, dinamik olarak oluşturulan gelecekteki takvim sayfalarına giden bağlantılara nofollow özelliği ekleyin.
İlgili hizmet: AI Pazarlama Ajansı