Bu belge, Google’ın içeriğinizi arama sonuçlarında nasıl sunacağını ayarlamak için sayfa ve metin düzeyi ayarlarının nasıl kullanılabileceğini detaylandırır. Sayfa düzeyi ayarlarını, HTML sayfalarına veya bir HTTP başlığına bir meta etiketi ekleyerek belirtebilirsiniz. Metin düzeyi ayarlarını ise bir sayfa içindeki HTML öğelerinde data-nosnippet özniteliğini kullanarak belirtebilirsiniz.
Bu ayarların yalnızca tarayıcıların bu ayarları içeren sayfalara erişmesine izin verildiğinde okunabileceğini ve uygulanabileceğini unutmayın.
<meta name="robots" content="noindex"> kuralı, arama motoru tarayıcıları için geçerlidir. AdsBot-Google gibi arama motoru dışındaki tarayıcıları engellemek için, belirli tarayıcıya yönelik kurallar eklemeniz gerekebilir (örneğin, <meta name="AdsBot-Google" content="noindex">).
robots meta etiketini kullanma
robots meta etiketi, bireysel bir HTML sayfasının nasıl dizine ekleneceğini ve Google Arama sonuçlarında kullanıcılara nasıl sunulacağını kontrol etmek için ayrıntılı, sayfaya özel bir yaklaşım kullanmanıza olanak tanır. robots meta etiketini, belirli bir sayfanın <head> bölümüne şu şekilde yerleştirin:
Bu örnekte, robots meta etiketi arama motorlarına sayfayı arama sonuçlarında göstermemelerini talimat verir. name özniteliğinin değeri (robots), kuralın tüm tarayıcılar için geçerli olduğunu belirtir. Hem name hem de content öznitelikleri büyük/küçük harfe duyarlı değildir. Belirli bir tarayıcıya hitap etmek için, name özniteliğinin robots değerini, hitap ettiğiniz tarayıcının kullanıcı aracısı (user agent) belirteci ile değiştirin. Google, robots meta etiketinde iki kullanıcı aracısı belirtecini destekler; diğer değerler göz ardı edilir:
googlebot: tüm metin sonuçları için.googlebot-news: haber sonuçları için.
Örneğin, Google’a özellikle arama sonuçlarında bir snippet (snippet) göstermemesini söylemek için, meta etiketinin adı olarak googlebot belirtebilirsiniz:
Google’ın web arama sonuçlarında tam bir snippet göstermek, ancak Google Haberler’de snippet göstermemek için, meta etiketinin adı olarak googlebot-news belirtin:
Birden fazla tarayıcıyı ayrı ayrı belirtmek için birden fazla robots meta etiketi kullanın:
PDF dosyaları, video dosyaları veya resim dosyaları gibi HTML olmayan kaynakların dizine eklenmesini engellemek için bunun yerine X-Robots-Tag yanıt başlığını kullanın.
X-Robots-Tag HTTP başlığını kullanma
X-Robots-Tag, belirli bir URL için HTTP yanıt başlığının bir öğesi olarak kullanılabilir. robots meta etiketinde kullanılabilen herhangi bir kural, X-Robots-Tag olarak da belirtilebilir. İşte tarayıcılara bir sayfayı dizine eklememelerini söyleyen bir X-Robots-Tag içeren bir HTTP yanıtı örneği:
HTTP yanıtı içinde birden fazla X-Robots-Tag başlığı birleştirilebilir veya virgülle ayrılmış bir kurallar listesi belirtebilirsiniz. İşte unavailable_after X-Robots-Tag ile birleştirilmiş bir noimageindex X-Robots-Tag içeren bir HTTP başlığı yanıtı örneği.
X-Robots-Tag, kurallardan önce isteğe bağlı olarak bir kullanıcı aracısı belirtebilir. Örneğin, aşağıdaki X-Robots-Tag HTTP başlıkları kümesi, farklı arama motorları için bir sayfanın arama sonuçlarında gösterilmesine koşullu olarak izin vermek için kullanılabilir:
Kullanıcı aracısı belirtilmeden tanımlanan kurallar tüm tarayıcılar için geçerlidir. HTTP başlığı, kullanıcı aracısı adı ve belirtilen değerler büyük/küçük harfe duyarlı değildir.
Geçerli dizine ekleme ve sunma kuralları
Makine tarafından okunabilir formatta da mevcut olan aşağıdaki kurallar, robots meta etiketi ve X-Robots-Tag ile bir snippet‘in dizine eklenmesini ve sunulmasını kontrol etmek için kullanılabilir. Her değer belirli bir kuralı temsil eder. Birden fazla kural virgülle ayrılmış bir listede veya ayrı meta etiketlerinde birleştirilebilir. Bu kurallar büyük/küçük harfe duyarlı değildir.
| Kurallar | |
|---|---|
| Dizine ekleme veya sunma konusunda herhangi bir kısıtlama yoktur. Bu kural varsayılan değerdir ve açıkça listelenmesinin bir etkisi yoktur. |
| Bu sayfayı, medyayı veya kaynağı arama sonuçlarında gösterme. Bu kuralı belirtmezseniz, sayfa, medya veya kaynak dizine eklenebilir ve arama sonuçlarında gösterilebilir. Google’dan bilgi kaldırmak için adım adım kılavuzumuzu izleyin. |
| Bu sayfadaki bağlantıları takip etme. Bu kuralı belirtmezseniz, Google sayfadaki bağlantıları bu bağlantılı sayfaları keşfetmek için kullanabilir. nofollow hakkında daha fazla bilgi edinin. |
| noindex, nofollow ile eşdeğerdir. |
| Bu sayfa için arama sonuçlarında bir metin snippet’i veya video önizlemesi gösterme. Daha iyi bir kullanıcı deneyimi sağladığında, statik bir resim küçük resmi (varsa) yine de görünebilir. Bu, tüm arama sonucu biçimleri için geçerlidir (Google’da: web araması, Google Görseller, Keşfet, AI Overviews, AI Mode) ve içeriğin doğrudan AI Overviews ve AI Mode için girdi olarak kullanılmasını da engeller. Bu kuralı belirtmezseniz, Google sayfada bulunan bilgilere dayanarak bir metin snippet’i ve video önizlemesi oluşturabilir. İçeriğinizin belirli bölümlerinin arama sonucu snippet’lerinde görünmesini engellemek için |
| Google,
|
| Bu arama sonucu için metin snippet’i olarak en fazla [sayı] karakter kullanın. (Bir URL’nin bir arama sonuçları sayfasında birden fazla arama sonucu olarak görünebileceğini unutmayın.) Bu, resim veya video önizlemelerini etkilemez. Bu, tüm arama sonucu biçimleri için geçerlidir (Google web araması, Google Görseller, Keşfet, Asistan, AI Overviews, AI Mode gibi) ve içeriğin ne kadarının doğrudan AI Overviews ve AI Mode için girdi olarak kullanılabileceğini de sınırlar. Ancak, bu sınır, yayıncının içeriğin kullanımı için ayrıca izin verdiği durumlarda geçerli değildir. Örneğin, yayıncı içeriği sayfa içi yapılandırılmış veri biçiminde sağlıyorsa veya Google ile bir lisans anlaşması varsa, bu ayar bu daha özel izin verilen kullanımları kesintiye uğratmaz. Ayrıştırılabilir bir [sayı] belirtilmezse bu kural göz ardı edilir. Bu kuralı belirtmezseniz, Google snippet’in uzunluğunu kendisi seçer. Özel değerler:
Örnekler: Arama sonuçlarında bir snippet’in görüntülenmesini durdurmak için: Snippet’te 20 karaktere kadar gösterilmesine izin vermek için: Snippet’te gösterilebilecek karakter sayısında bir sınır olmadığını belirtmek için: |
| Arama sonuçlarında bu sayfa için bir resim önizlemesinin maksimum boyutunu ayarlayın.
Kabul edilen [ayar] değerleri:
Bu, tüm arama sonucu biçimleri için geçerlidir (Google web araması, Google Görseller, Keşfet, Asistan gibi). Ancak, bu sınır, yayıncının içeriğin kullanımı için ayrıca izin verdiği durumlarda geçerli değildir. Örneğin, yayıncı içeriği sayfa içi yapılandırılmış veri biçiminde (AMP ve bir makalenin kanonik sürümleri gibi) sağlıyorsa veya Google ile bir lisans anlaşması varsa, bu ayar bu daha özel izin verilen kullanımları kesintiye uğratmayacaktır. Google’ın, AMP sayfaları ve bir makalenin kanonik sürümü Arama veya Keşfet’te gösterildiğinde daha büyük küçük resimler kullanmasını istemiyorsanız, Örnek: |
| Arama sonuçlarında bu sayfadaki videolar için video snippet’i olarak en fazla [sayı] saniye kullanın.
Özel değerler:
Bu, tüm arama sonucu biçimleri için geçerlidir (Google’da: web araması, Google Görseller, Google Videolar, Keşfet, Asistan). Ayrıştırılabilir bir [sayı] belirtilmezse bu kural göz ardı edilir. Örnek: |
| Arama sonuçlarında bu sayfanın çevirisini sunma. Bu kuralı belirtmezseniz, Google arama sorgusunun dilinde olmayan sonuçlar için bir başlık bağlantısı ve snippet çevirisi sağlayabilir. Kullanıcı çevrilmiş başlık bağlantısını tıklarsa, sayfayla sonraki tüm kullanıcı etkileşimi, takip edilen tüm bağlantıları otomatik olarak çevirecek olan Google Çeviri aracılığıyla gerçekleşir. |
| Bu sayfadaki resimleri dizine ekleme. Bu değeri belirtmezseniz, sayfadaki resimler dizine eklenebilir ve arama sonuçlarında gösterilebilir. |
| Bu sayfayı belirtilen tarih/saatten sonra arama sonuçlarında gösterme. Tarih/saat, RFC 822, RFC 850 ve ISO 8601 dahil ancak bunlarla sınırlı olmamak üzere yaygın olarak kabul edilen bir biçimde belirtilmelidir. Geçerli bir tarih/saat belirtilmezse kural göz ardı edilir. Varsayılan olarak içerik için bir son kullanma tarihi yoktur. Bu kuralı belirtmezseniz, bu sayfa süresiz olarak arama sonuçlarında gösterilebilir. Googlebot, belirtilen tarih ve saatten sonra URL’nin tarama hızını önemli ölçüde azaltacaktır. Örnek: |
Birleştirilmiş dizine ekleme ve sunma kurallarını işleme
robots meta etiketi kurallarını virgüllerle birleştirerek veya birden fazla meta etiketi kullanarak çok kurallı bir talimat oluşturabilirsiniz. İşte web tarayıcılarına sayfayı dizine eklememelerini ve sayfadaki bağlantıların hiçbirini taramamalarını söyleyen bir robots meta etiketi örneği:
İşte metin snippet’ini 20 karakterle sınırlayan ve büyük bir resim önizlemesine izin veren bir örnek:
Birden fazla tarayıcının farklı kurallarla birlikte belirtildiği durumlar için, arama motoru negatif kuralların toplamını kullanacaktır. Örneğin:
Bu meta etiketlerini içeren sayfa, Googlebot tarafından tarandığında noindex, nofollow kuralına sahip olarak yorumlanacaktır.
data-nosnippet HTML özniteliğini kullanma
Bir HTML sayfasının metinsel bölümlerinin snippet olarak kullanılmamasını belirleyebilirsiniz. Bu, span, div ve section öğeleri üzerinde data-nosnippet HTML özniteliği ile HTML öğesi düzeyinde yapılabilir. data-nosnippet bir boole özniteliği olarak kabul edilir. Tüm boole özniteliklerinde olduğu gibi, belirtilen herhangi bir değer göz ardı edilir. Makine tarafından okunabilirliği sağlamak için, HTML bölümü geçerli HTML olmalı ve tüm uygun etiketler buna göre kapatılmalıdır.
Örnekler:
Google genellikle sayfaları dizine eklemek için oluşturur (render eder), ancak oluşturma garantisi yoktur. Bu nedenle, data-nosnippet ayıklaması hem oluşturmadan önce hem de sonra gerçekleşebilir. Oluşturmadan kaynaklanan belirsizlikten kaçınmak için, JavaScript aracılığıyla mevcut düğümlerin data-nosnippet özniteliğini eklemeyin veya kaldırmayın. JavaScript aracılığıyla DOM öğeleri eklerken, öğeyi sayfanın DOM’una ilk eklediğinizde gerektiği şekilde data-nosnippet özniteliğini dahil edin. Özel öğeler kullanılıyorsa, data-nosnippet kullanmanız gerekiyorsa bunları div, span veya section öğeleriyle sarın veya oluşturun.
Yapılandırılmış veri kullanma
Robots meta etiketleri, Google’ın arama sonuçları olarak görüntülemek için web sayfalarından otomatik olarak çıkardığı içerik miktarını yönetir. Ancak birçok yayıncı, belirli bilgileri arama sunumu için kullanılabilir hale getirmek amacıyla schema.org yapılandırılmış verilerini de kullanır. Robots meta etiketi sınırlamaları, article.description ve diğer yaratıcı çalışmalar için belirtilen yapılandırılmış verilerdeki description değerleri hariç, bu yapılandırılmış verilerin kullanımını etkilemez. Bu description değerlerine dayalı bir önizlemenin maksimum uzunluğunu belirtmek için max-snippet kuralını kullanın. Örneğin, bir sayfadaki recipe yapılandırılmış verisi, metin önizlemesi aksi takdirde sınırlanacak olsa bile tarif karuselinde yer almaya uygundur. Bir metin önizlemesinin uzunluğunu max-snippet ile sınırlayabilirsiniz, ancak bu robots meta etiketi, bilgiler zengin sonuçlar için yapılandırılmış veriler kullanılarak sağlandığında geçerli olmaz.
Web sayfalarınız için yapılandırılmış verilerin kullanımını yönetmek amacıyla, yapılandırılmış veri türlerini ve değerlerini değiştirin; yalnızca kullanılabilir hale getirmek istediğiniz verileri sağlamak için bilgi ekleyin veya kaldırın. Ayrıca, yapılandırılmış verilerin bir data-nosnippet öğesi içinde bildirildiğinde arama sonuçları için kullanılabilir kalmaya devam ettiğini unutmayın.
X-Robots-Tag‘in pratik uygulaması
X-Robots-Tag‘i, sitenizin web sunucusu yazılımının yapılandırma dosyaları aracılığıyla bir sitenin HTTP yanıtlarına ekleyebilirsiniz. Örneğin, Apache tabanlı web sunucularında .htaccess ve httpd.conf dosyalarını kullanabilirsiniz. HTTP yanıtlarıyla bir X-Robots-Tag kullanmanın yararı, bir site genelinde küresel olarak uygulanan tarama kurallarını belirtebilmenizdir. Düzenli ifadelerin (regular expressions) desteği, yüksek düzeyde esneklik sağlar.
Örneğin, site genelindeki tüm .PDF dosyaları için HTTP yanıtına bir noindex, nofollow X-Robots-Tag eklemek için, Apache’de sitenin kök .htaccess dosyasına veya httpd.conf dosyasına ya da NGINX’te sitenin .conf dosyasına aşağıdaki snippet’i ekleyin.
HTML’de robots meta etiketlerinin kullanımının mümkün olmadığı resim dosyaları gibi HTML olmayan dosyalar için X-Robots-Tag kullanabilirsiniz. İşte site genelindeki resim dosyaları (.png, .jpeg, .jpg, .gif) için bir noindex X-Robots-Tag kuralı ekleme örneği:
Ayrıca, bireysel statik dosyalar için X-Robots-Tag başlıklarını da ayarlayabilirsiniz:
robots.txt kurallarını dizine ekleme ve sunma kurallarıyla birleştirme
robots meta etiketleri ve X-Robots-Tag HTTP başlıkları, bir URL tarandığında keşfedilir. Bir sayfanın robots.txt dosyası aracılığıyla taranması engellenmişse, dizine ekleme veya sunma kurallarıyla ilgili herhangi bir bilgi bulunamayacak ve bu nedenle göz ardı edilecektir. Dizine ekleme veya sunma kurallarına uyulması gerekiyorsa, bu kuralları içeren URL’lerin taranması engellenemez.
Biz bunu nasıl uyguluyoruz
Robots directives are the sharpest tool in technical SEO and the easiest to misfire. We review every noindex on a site during onboarding, because inherited directives on commercially important pages are more common than clients expect.
İlgili hizmetler