Mevcut robots.txt dosyanızdaki kuralları güncellemek için, sitenizden robots.txt dosyanızın bir kopyasını indirin ve gerekli düzenlemeleri yapın. Ardından, güncellenmiş dosyayı sitenize yükleyin.
robots.txt dosyanızı indirin
robots.txt dosyanızı çeşitli yollarla indirebilirsiniz, örneğin:
robots.txt dosyanıza gidin, örneğin https://example.com/robots.txt ve içeriğini bilgisayarınızda yeni bir metin dosyasına kopyalayın. Yeni yerel dosyayı oluştururken dosya formatı ile ilgili yönergelere uyduğunuzdan emin olun.
curl gibi bir araçla robots.txt dosyanızın gerçek bir kopyasını indirin. Örneğin:
Search Console’daki robots.txt raporunu kullanarak robots.txt dosyanızın içeriğini kopyalayın ve ardından bilgisayarınızdaki bir dosyaya yapıştırın.
robots.txt dosyanızı düzenleyin
Sitenizden indirdiğiniz robots.txt dosyasını bir metin düzenleyicide açın ve kurallarda gerekli düzenlemeleri yapın. doğru sözdizimini kullandığınızdan ve dosyayı UTF-8 kodlamasıyla kaydettiğinizden emin olun.
robots.txt dosyanızı yükleyin
Yeni robots.txt dosyanızı, sitenizin kök dizinine robots.txt adında bir metin dosyası olarak yükleyin. Bir dosyayı sitenize yükleme yöntemi, platforma ve sunucuya bağlıdır. sitenize robots.txt dosyası yükleme.
Google’ın robots.txt önbelleğini yenileyin
Otomatik tarama işlemi sırasında, Google’ın tarayıcıları robots.txt dosyanızda yaptığınız değişiklikleri fark eder ve önbelleğe alınan sürümü her 24 saatte bir günceller. Önbelleği daha hızlı güncellemeniz gerekiyorsa, Yeniden tarama iste işlevini robots.txt raporu.
Alien Road
Biz bunu nasıl uyguluyoruz
Robots.txt changes propagate on Google’s schedule, not yours. We plan around the cache window when a change is part of a launch, because assuming immediate effect has cost clients days of blocked crawling.