robots.txt dosyası nasıl yazılır ve gönderilir

Şunları
tarayıcıların hangi dosyalara erişebileceğini kontrol edebilirsiniz
sitenizde bir robots.txt dosyası ile.

Bir robots.txt dosyası sitenizin kök dizininde bulunur. Yani, www.example.comsitesi için,
robots.txt dosyası şurada bulunur: www.example.com/robots.txt. robots.txt, şu standardı takip eden düz bir
metin dosyasıdır:
Robots Exclusion Standard.
Bir robots.txt dosyası bir veya daha fazla kuraldan oluşur. Her kural, robots.txt dosyasının barındırıldığı alan adı veya alt alan adındaki belirli bir dosya yolu için tüm tarayıcılara veya belirli bir tarayıcıya erişimi engeller ya da izin verir. robots.txt dosyanızda aksi belirtilmedikçe, tüm dosyaların taranmasına örtülü olarak izin verilir.

İşte iki kural içeren basit bir robots.txt dosyası:

Bu robots.txt dosyasının anlamı şudur:

1. Googlebot adlı kullanıcı aracısının, şu ifadeyle başlayan hiçbir URL’yi taramasına izin verilmez:
   https://example.com/nogooglebot/.
2. Diğer tüm kullanıcı aracılarının sitenin tamamını taramasına izin verilir. Bu kısım atlanabilirdi ve sonuç aynı olurdu; varsayılan davranış, kullanıcı aracılarının sitenin tamamını taramasına izin verilmesidir.
3. Sitenin site haritası dosyası şurada bulunur:
   https://www.example.com/sitemap.xml.

Daha fazla örnek için sözdizimi bölümüne bakın.

robots.txt dosyası oluşturmak için temel yönergeler

Bir robots.txt dosyası oluşturmak ve onu genel olarak erişilebilir ve kullanışlı hale getirmek dört adım içerir:

1. robots.txt adında bir dosya oluşturun.
2. robots.txt dosyasına kurallar ekleyin.
3. robots.txt dosyasını sitenizin kök dizinine yükleyin.
4. robots.txt dosyasını test edin.

Bir robots.txt dosyası oluşturun

robots.txt dosyası oluşturmak için hemen hemen her metin düzenleyiciyi kullanabilirsiniz. Örneğin, Notepad, TextEdit, vi ve emacs geçerli robots.txt dosyaları oluşturabilir. Kelime işlemci kullanmayın; kelime işlemciler dosyaları genellikle özel bir biçimde kaydeder ve tarayıcılar için sorun yaratabilecek kıvrımlı tırnak işaretleri gibi beklenmedik karakterler ekleyebilir. Dosyayı kaydederken iletişim kutusunda sorulursa UTF-8 kodlamasıyla kaydettiğinizden emin olun.

Biçim ve konum kuralları:

• Dosya robots.txt olarak adlandırılmalıdır.
• Sitenizde yalnızca bir robots.txt dosyası olabilir.
• robots.txt dosyası, uygulandığı site ana bilgisayarının kök dizininde bulunmalıdır. Örneğin, şu URL’lerin altındaki tüm URL’lerde taramayı kontrol etmek için
  https://www.example.com/, robots.txt dosyası şurada bulunmalıdır:
  https://www.example.com/robots.txt. Bu dosya olamaz bir alt dizine yerleştirilemez (örneğin, https://example.com/pages/robots.txt). Site kök dizinine nasıl erişeceğinizden emin değilseniz veya bunun için izinlere ihtiyacınız varsa, web barındırma hizmeti sağlayıcınızla iletişime geçin. Site kök dizinine erişemiyorsanız, alternatif bir engelleme yöntemi kullanın, örneğin meta etiketleri.
• Bir robots.txt dosyası bir alt alan adında (örneğin,
  https://site.example.com/robots.txt) veya standart olmayan bağlantı noktalarında (örneğin, https://example.com:8181/robots.txt).
• Bir robots.txt dosyası yalnızca gönderildiği protokol, ana bilgisayar ve bağlantı noktası içindeki yollar için geçerlidir. Yani, https://example.com/robots.txt içindeki kurallar yalnızca şuradaki dosyalar için geçerlidir:
  https://example.com/, alt alan adları için değil, örneğin
  https://m.example.com/, veya alternatif protokoller için, örneğin
  http://example.com/.
• Bir robots.txt dosyası UTF-8 kodlu bir metin dosyası olmalıdır (ASCII dahil). Google, UTF-8 aralığının parçası olmayan karakterleri yoksayabilir ve bu da robots.txt kurallarını geçersiz kılabilir.

robots.txt kuralları nasıl yazılır

Kurallar, tarayıcılar için sitenizin hangi bölümlerini tarayabileceklerine dair talimatlardır. robots.txt dosyanıza kurallar eklerken şu yönergeleri izleyin:

• Bir robots.txt dosyası bir veya daha fazla gruptan (kural kümesi) oluşur.
• Her grup, her satırda bir kural olacak şekilde birden fazla kuraldan (yönergeler olarak da bilinir) oluşur. Her grup bir User-agent satırı ile başlar ve grubun hedefini belirtir.
• Bir grup şu bilgileri verir:
  • Grubun kime uygulandığı (kullanıcı aracısı).
  • O aracının erişebileceği dizinler veya dosyalar.
  • O aracının erişemeyeceği dizinler veya dosyalar.
• Tarayıcılar grupları yukarıdan aşağıya doğru işler. Bir kullanıcı aracısı yalnızca bir kural kümesiyle eşleşebilir; bu, belirli bir kullanıcı aracısıyla eşleşen ilk ve en özel gruptur. Aynı kullanıcı aracısı için birden fazla grup varsa, gruplar işlenmeden önce tek bir grupta birleştirilir.
• Varsayılan varsayım, bir kullanıcı aracısının bir
  disallow kuralı tarafından engellenmeyen herhangi bir sayfayı veya dizini tarayabileceğidir.
• Kurallar büyük/küçük harfe duyarlıdır. Örneğin, disallow: /file.asp şunun için geçerlidir:
  https://www.example.com/file.asp, ancak şunun için değil:
  https://www.example.com/FILE.asp.
• Karakteri # bir yorumun başlangıcını işaret eder. Yorumlar işleme sırasında yoksayılır.

Google’ın tarayıcıları robots.txt dosyalarında aşağıdaki kuralları destekler:

• user-agent: [Gerekli, grup başına bir veya daha fazla] Kural, kuralın uygulandığı arama motoru tarayıcısı olarak bilinen otomatik istemcinin adını belirtir. Bu, herhangi bir kural grubu için ilk satırdır. Google kullanıcı aracısı adları şurada listelenmiştir:
  Google kullanıcı aracıları listesi. Yıldız işareti (*) kullanmak, açıkça adlandırılması gereken çeşitli AdsBot tarayıcıları dışındaki tüm tarayıcılarla eşleşir. Örneğin:
• disallow: [Kural başına en az bir veya daha fazla disallow veya
  allow girişi] Kullanıcı aracısının taramasını istemediğiniz, kök etki alanına göreli bir dizin veya sayfa. Kural bir sayfaya atıfta bulunuyorsa, tarayıcıda gösterildiği gibi tam sayfa adı olmalıdır. Bir / karakteriyle başlamalıdır ve bir dizine atıfta bulunuyorsa, / işaretiyle bitmelidir.
• allow: [Kural başına en az bir veya daha fazla disallow veya
  allow girişi] Az önce bahsedilen kullanıcı aracısı tarafından taranabilecek, kök etki alanına göreli bir dizin veya sayfa. Bu, engellenen bir dizindeki bir alt dizinin veya sayfanın taranmasına izin vermek için bir
  disallow kuralını geçersiz kılmak için kullanılır. Tek bir sayfa için, tarayıcıda gösterildiği gibi tam sayfa adını belirtin. Bir / karakteriyle başlamalıdır ve bir dizine atıfta bulunuyorsa,
  / işaretiyle bitmelidir.
• sitemap: [İsteğe bağlı, dosya başına sıfır veya daha fazla] Bu site için bir site haritasının konumu. Site haritası URL’si tam nitelikli bir URL olmalıdır; Google, http/https/www.non-www alternatiflerini varsaymaz veya kontrol etmez. Site haritaları, Google’ın hangi içeriği taraması gerektiğini belirtmek için iyi bir yoldur, aksine hangi içeriği
  tarayabileceği veya tarayamayacağı konusunda.
  Site haritaları hakkında daha fazla bilgi edinin.
  Örnek:

sitemap hariç tüm kurallar,bir yol öneki, soneki veya tüm dize için * joker karakteri destekler.

Bu kuralların hiçbiriyle eşleşmeyen satırlar yoksayılır.

Şu sayfamızı okuyun:
Google’ın robots.txt belirtimini yorumlaması
her kuralın tam açıklaması için.

robots.txt dosyasını yükleyin

robots.txt dosyanızı bilgisayarınıza kaydettikten sonra, onu arama motoru tarayıcılarının kullanımına sunmaya hazırsınız demektir. Bu konuda size yardımcı olabilecek tek bir araç yoktur, çünkü robots.txt dosyasını sitenize nasıl yükleyeceğiniz sitenize ve sunucu mimarinize bağlıdır. Barındırma şirketinizle iletişime geçin veya barındırma şirketinizin belgelerinde arama yapın; örneğin, “upload files infomaniak” şeklinde arama yapın.

robots.txt dosyasını yükledikten sonra, herkese açık olup olmadığını ve Google’ın ayrıştırıp ayrıştıramadığını test edin.

robots.txt işaretlemesini test edin

Yeni yüklediğiniz robots.txt dosyanızın herkese açık olup olmadığını test etmek için tarayıcınızda bir
gizli tarama penceresi
(veya eşdeğeri) açın ve robots.txt dosyasının konumuna gidin. Örneğin, https://example.com/robots.txt. robots.txt dosyanızın içeriğini görüyorsanız, işaretlemeyi test etmeye hazırsınız demektir.

Google, robots.txt işaretlemesiyle ilgili sorunları gidermek için iki seçenek sunar:

1. Search Console’daki
   robots.txt raporu . Bu raporu yalnızca sitenizde zaten erişilebilir olan robots.txt dosyaları için kullanabilirsiniz.
2. Bir geliştiriciyseniz, Google Arama’da da kullanılan
   Google’ın açık kaynaklı robots.txt kitaplığınagöz atın ve oluşturun. Bu aracı, robots.txt dosyalarını bilgisayarınızda yerel olarak test etmek için kullanabilirsiniz.

robots.txt dosyasını Google’a gönderin

robots.txt dosyanızı yükleyip test ettikten sonra, Google’ın tarayıcıları robots.txt dosyanızı otomatik olarak bulacak ve kullanmaya başlayacaktır. Hiçbir şey yapmanıza gerek yoktur. robots.txt dosyanızı güncellediyseniz ve Google’ın önbelleğe alınmış kopyasını mümkün olan en kısa sürede yenilemeniz gerekiyorsa, şunu öğrenin:
güncellenmiş bir robots.txt dosyası nasıl gönderilir.