İndekslenebilirlik ve taranabilirlik, bir arama motorunun web sitenizin içeriğiyle nasıl etkileşime girdiğini tanımlayan iki farklı aşamayı ifade eder. Taranabilirlik, Googlebot gibi arama motoru botlarının sitenizdeki sayfaları keşfetme ve bunlara erişme yeteneğini ifade ederken, indekslenebilirlik motorun bu keşfedilen sayfaları analiz etme, saklama ve arama sonuçlarında gösterme kapasitesini ifade eder. Bir bot bir sayfayı tarayamazsa, onu asla indeksleyemez; ancak bir sayfa başarıyla taranabilir ancak yine de belirli teknik talimatlar veya kalite sorunları nedeniyle arama dizininden hariç tutulabilir.
Taranabilirlik web siteniz için neden önemlidir?
Taranabilirlik, arama motoru optimizasyonunun teknik temelidir çünkü bir arama motorunun içeriğinizi görüp göremeyeceğini belirler. Tipik bir web sitesi için Googlebot, hangi dizinlerin yasak olduğunu görmek için robots.txt dosyasını getirerek başlar. Site yapınız dağınıksa veya sunucu yanıt süreleriniz yavaşsa, bot sık ziyaret etmeyi bırakabilir, bu da yeni makalelerin veya ürün güncellemelerinin keşfinin gecikmesine neden olur. Tipik bir hesapta, genellikle derin iç içe geçmiş mimarilerin (bir sayfanın ana sayfadan dört tıklamadan daha uzakta olduğu durumlar) düşük tarama sıklığından muzdarip olduğunu görüyoruz. Bir bot bozuk bir bağlantı veya yönlendirme döngüsüyle karşılaştığında, sınırlı kaynaklarını (tarama bütçesi olarak bilinir) boşa harcar ve önemli içeriğe ulaşmadan siteden ayrılır.
Sunucu performansı da bir sitenin ne kadar etkili bir şekilde tarandığını belirler. Bir sunucunun yanıt vermesi 200 ms’den uzun sürerse, Googlebot sitenin çökmesini önlemek için sayfa isteme hızını düşürebilir. Bu, özellikle binlerce SKU’su olan büyük e-ticaret platformları için belirgindir. Yaygın bir model, ağır görseller veya optimize edilmemiş komut dosyaları kullanan sitelerin tarama sıklığında bir düşüş yaşamasıdır. Sağlıklı bir tarama oranını korumak için teknik ekipler Google Search Console’daki ‘Tarama İstatistikleri’ raporunu izlemelidir. Bu rapor, günlük kaç istek yapıldığını ve botun bağlantı grafiği boyunca hareket etmesini engelleyen 404 hataları veya 500 seviyeli sunucu hatalarıyla karşılaşıp karşılaşmadığını gösterir.
Hangi faktörler bir sayfanın indekslenebilir olmasını engeller?
Bir sayfa tarandıktan sonra, arama motoru onun kalıcı veritabanında tutulmaya değer olup olmadığına karar vermelidir. İndekslenebilirlik, HTML etiketleri ve başlıklar aracılığıyla bota gönderdiğiniz sinyallere bağlıdır. İndekslemeyi önlemenin en doğrudan yolu ‘noindex’ meta etiketidir. Bu, Google’a sayfayı bulmasına rağmen kullanıcılara göstermemesi gerektiğini söyler. Bir diğer yaygın faktör ise kanonik etikettir. Üç benzer ürün sayfanız varsa ancak yalnızca bir kanonik etiket tek bir sürüme işaret ediyorsa, diğer iki sayfa taranacak ancak indekslenmeyecektir. Bu bir başarısızlık değil, arama sonuçlarında kopya içerik sorunlarını önlemek için kasıtlı bir talimattır.
İçerik kalitesi ve özgünlük de indekslenebilirliği etkiler. Googlebot bir sayfayı tarayabilir ancak içerik çok zayıfsa veya başka bir kaynaktan kopyalanmışsa onu indekslememeyi seçebilir. Tipik bir denetimde, 200 kelimeden az özgün metni olan sayfaların veya tamamen filtreler tarafından oluşturulan sayfaların (bir mağazadaki fiyat aralığı seçimleri gibi) genellikle dizinden çıkarıldığını görüyoruz. Google Search Central, indekslenebilirliğin Google’ın sayfaları saklaması ve göstermesi anlamına geldiğini belgeler, bu nedenle bot sayfanın kullanıcı için hiçbir değeri olmadığını algılarsa, saklama aşamasını basitçe atlayacaktır. Bu, arama sonuçlarının son kullanıcı için alakalı ve yüksek kaliteli kalmasını sağlar.
Teknik SEO’da taranabilirlik ve indekslenebilirliğin karşılaştırılması
Bu iki kavramı ayırt etmek, belirli sayfaların neden arama sonuçlarında eksik olduğunu teşhis etmenize yardımcı olur. Taranabilirlik sorunları genellikle robots.txt dosyası, sitemap.xml veya iç bağlantı mantığı gibi sitenin altyapısıyla ilgilidir. İndekslenebilirlik sorunları ise daha çok sayfadaki içerik ve HTML’in head bölümündeki meta etiketlerle ilgilidir. Teknik optimizasyon süreci sırasında darboğazınızın nerede oluşabileceğini belirlemek için aşağıdaki karşılaştırmayı kullanabilirsiniz.
- Taranabilirlik keşfe odaklanır: Googlebot’un sayfaya girmesine izin veriliyor mu?
- İndekslenebilirlik saklamaya odaklanır: Sayfanın arama sonuçlarında görünmesine izin veriliyor mu?
- Taranabilirlik için engelleyiciler, robots.txt ‘Disallow’ kurallarını ve 403/404 hatalarını içerir.
- İndekslenebilirlik için engelleyiciler, ‘noindex’ etiketlerini ve kendine referans vermeyen kanonik etiketleri içerir.
- Taranabilirlik, düz bir site mimarisi ve hızlı sunucu yanıtları ile iyileştirilir.
- İndekslenebilirlik, yüksek kaliteli içerik ve net meta talimatları ile iyileştirilir.
Alien Road indekslenebilirlik ve taranabilirlik stratejilerini nasıl uygular
Alien Road’da teknik SEO süreci, kurumsal düzeyde yazılım kullanarak bir Googlebot taramasını simüle ettiğimiz bir keşif aşamasıyla başlar. Bu, siteyi tam olarak bir arama motorunun göreceği gibi görmemizi sağlar. Yüksek öncelikli hizmet sayfalarının en fazla ‘bağlantı eşitliği’ almasını ve daha sık taranmasını sağlamak için iç bağlantı dağılımını inceliyoruz. Örneğin, bir B2B müşterisiyle yapılan tipik bir çalışmada, blog yazılarının iyi indekslendiğini ancak temel potansiyel müşteri oluşturma sayfalarının karmaşık bir menünün altında gömülü olduğunu görebiliriz. Daha sonra navigasyonu yeniden yapılandırarak bu sayfaları kök domaine yaklaştırıyor ve tarama sıklıklarını anında iyileştiriyoruz.
Uygulama ve raporlama aşamalarında, ‘Dizin Kapsamı’ raporunu günlük olarak izlemek için yapay zeka destekli araçlar kullanıyoruz. ‘Tarandı – şu anda indekslenmedi’ sayfalarında ani bir artış olursa, ekibimiz sitenin düşük değerli URL parametreleri oluşturup oluşturmadığını veya JavaScript ile ilgili bir işleme sorunu olup olmadığını araştırır. React veya Vue.js gibi çerçeveler kullanan müşteriler için içeriğin ilk HTML’de veya dinamik işleme yoluyla görünür olduğundan emin oluyoruz. Bu, Googlebot’un sitede harcadığı zamanın boş sayfa kabuklarında boşa harcanmamasını sağlar ve toplam tarama sayısına kıyasla çok daha yüksek bir indekslenmiş sayfa oranıyla sonuçlanır.
Bir sayfa taranabilir ancak indekslenmeyebilir mi?
Evet, bu Google Search Console raporlarında sıkça karşılaşılan bir durumdur. ‘Tarandı – şu anda indekslenmedi’ durumu, Googlebot’un URL’ye başarıyla ulaştığı ve içeriği okuduğu ancak bir nedenden dolayı onu arama dizinine eklememeye karar verdiği anlamına gelir. Bu genellikle Google’ın içeriğin yeterince özgün olmadığına inanması veya sayfanın zaten bulduğu başka bir sayfanın kopyası olması nedeniyle olur. Bazı durumlarda bu sadece bir zaman meselesi olabilir; Google bir sayfayı tarayabilir ancak ona işaret eden daha fazla dış veya iç bağlantı görene kadar indekslemeyi bekleyebilir. Bu durum, taranabilirliğiniz çalışsa bile indekslenebilirliğinizin içerik güncellemeleri veya daha iyi iç bağlantı yoluyla iyileştirilmesi gerektiğinin bir sinyalidir.
Bu davranışın bir diğer nedeni ‘soft 404’ hatalarının varlığıdır. Bu, bir sayfa kullanıcıya var olmadığını söylediğinde ancak sunucu ‘200 OK’ durum kodu gönderdiğinde olur. Googlebot sayfayı tarar, etkili bir şekilde boş veya bir hata sayfası olduğunu görür ve indekslemeyi reddeder. Bunu düzeltmek için sunucunuzun eksik içerik için doğru 404 veya 410 durum kodlarını gönderdiğinden emin olmalısınız. Doğru durum kodu yönetimi, arama motorunun çıkmaz sokaklarda zaman kaybetmemesini sağlayan taranabilirlik ve indekslenebilirlik arasında bir köprüdür. Bu sinyalleri temizleyerek, botun en değerli açılış sayfalarınıza odaklanmasını sağlarsınız.
Tarama bütçenizi ve indeksleme durumunuzu nasıl denetlersiniz?
Bu iki teknik yönü denetlemek, hem Google Search Console hem de manuel kontrolleri kullanan sistematik bir yaklaşım gerektirir. İyi bir başlangıç noktası ‘Site Haritaları’ raporudur. Gönderilen URL sayısının indekslenen URL sayısıyla eşleşip eşleşmediğini kontrol edin. Büyük bir boşluk varsa, muhtemelen bir indekslenebilirlik sorununuz vardır. Ardından, Search Console’daki ‘Ayarlar’ menüsünün altındaki ‘Tarama İstatistikleri’ne bakın. 404 hatalarındaki veya yüksek yanıt sürelerindeki artışları arayın. Sağlıklı bir site, yanıtların çoğunun 200 (OK) olduğu tutarlı bir tarama modeli göstermelidir. Çok sayıda 301 yönlendirmesinin tarandığını görüyorsanız, tarama bütçesinden tasarruf etmek için iç bağlantılarınızı doğrudan nihai hedefe işaret edecek şekilde güncellemeyi düşünün.
- Önemli klasörlerde kazara ‘Disallow’ komutları olup olmadığını kontrol etmek için robots.txt’yi inceleyin.
- Belirli bir sayfanın indekslenmesine izin verilip verilmediğini görmek için URL Denetleme Aracını kullanın.
- ‘noindex’ etiketlerini bulmak için Dizin Kapsamı raporundaki ‘Hariç Tutulan’ bölümünü izleyin.
- XML site haritanızın yalnızca 200 durum kodu döndüren URL’leri içerdiğinden emin olun.
- Mobil sürümünüzün ve masaüstü sürümünüzün aynı içeriği gösterdiğini doğrulayın.
- Gelen bağlantısı olmayan ‘yetim sayfaların’ bulunmadığından emin olmak için iç bağlantılarınızı denetleyin.
Site hızı Googlebot’un sayfalarınızı tarama şeklini etkiler mi?
Site hızı doğrudan taranabilirlikle bağlantılıdır çünkü arama motorlarının herhangi bir web sitesinde harcayacak sınırlı zamanı vardır. Bir site yavaş yüklendiğinde, bot kuyruğundaki bir sonraki siteye geçmeden önce yalnızca birkaç sayfayı işleyebilir. Bu, yavaş bir sitede yeni içeriğinizin keşfedilmesinin haftalar sürebileceği anlamına gelir. 2.5 saniyenin altındaki Largest Contentful Paint (LCP) gibi Google Core Web Vitals, sadece kullanıcı deneyimi için değil; aynı zamanda sağlıklı bir teknik ortamın işaretleridir. Hızlı siteler, Googlebot’un aynı süre içinde daha fazla sayfayı taramasını sağlar, bu da genel tarama talebinizi ve sıklığınızı artırmanın birincil yoludur.
Ayrıca, hızlı bir sunucu yanıtı (Time to First Byte veya TTFB), Google’a altyapınızın güvenilir olduğuna dair bir sinyaldir. Sunucunuz sık sık zaman aşımına uğruyorsa veya bir tarayıcının yükü altında zorlanıyorsa, Google sitenizi çökmekten korumak için tarama hızını kasıtlı olarak yavaşlatacaktır. Bu koruyucu önlem, haberler veya zamana duyarlı konular için sıralanmaya çalışıyorsanız SEO’nuz için zararlı olabilir. Barındırma ortamınızı optimize etmek, bir İçerik Dağıtım Ağı (CDN) kullanmak ve kaynaklarınızı önbelleğe almak, taranabilirliğin performans darboğazları tarafından asla engellenmemesini sağlamanın pratik yollarıdır.
Bu hafta nereden başlamalı
Google Search Console’unuzu açarak ve ayarlardaki ‘Tarama İstatistikleri’ raporuna giderek başlayın. 404 veya 500 hatası döndüren sayfaları belirleyin ve içeriği geri yükleyerek veya 301 yönlendirmesi uygulayarak bunları düzeltin. Ardından, ‘Dizin Kapsamı’ raporunuzda ‘noindex etiketiyle hariç tutulan’ olarak işaretlenmiş sayfaları kontrol edin, böylece sıralanması gereken sayfaları yanlışlıkla engellemediğinizden emin olun. Son olarak, robots.txt dosyanızı gözden geçirerek CSS veya JS dosyalarınızı engellemediğini doğrulayın, çünkü Googlebot’un düzeninizi düzgün bir şekilde işlemek ve indekslemek için bunlara ihtiyacı vardır. Bu üç adım, sitenizin teknik sağlığında anında bir iyileşme sağlayacaktır.
Okumaya devam edin: SEO (Arama Motoru Optimizasyonu) · SEO