Crawling infrastructure

robots.txt faylınızı yeniləyin

Mövcud robots.txt faylınızdakı qaydaları yeniləmək üçün saytınızdan robots.txt faylının bir nüsxəsini yükləyin və lazımi düzəlişləri edin. Sonra yenilənmiş faylı saytınıza yükləyin.

robots.txt faylınızı yükləyin

robots.txt faylınızı müxtəlif yollarla yükləyə bilərsiniz, məsələn:

  • robots.txt faylınıza keçid edin, məsələn https://example.com/robots.txt
    və onun məzmununu kompüterinizdə yeni bir mətn faylına köçürün. Yeni yerli faylı yaradarkən
    fayl formatı
    ilə bağlı qaydalara əməl etdiyinizə əmin olun.
  • curl kimi bir alətlə robots.txt faylınızın faktiki nüsxəsini yükləyin. Məsələn:
  • İstifadə edin
    robots.txt hesabatı
    Search Console-da robots.txt faylınızın məzmununu kopyalamaq üçün, sonra onu kompüterinizdəki bir fayla yapışdıra bilərsiniz.

robots.txt faylınızı redaktə edin

Saytınızdan yüklədiyiniz robots.txt faylını mətn redaktorunda açın və qaydalarda lazımi düzəlişləri edin. İstifadə etdiyinizə əmin olun
düzgün sintaksis
və faylı UTF-8 kodlaşdırması ilə saxladığınızdan əmin olun.

robots.txt faylınızı yeniləyin — 2

robots.txt faylınızı yükləyin

Yeni robots.txt faylınızı saytınızın kök qovluğuna robots.txt adlı mətn faylı kimi yükləyin. Sayta fayl yükləmə üsulu platformadan və serverdən çox asılıdır. Kömək almaq üçün tövsiyələrimizə baxın
saytınıza robots.txt faylının yüklənməsi.

Google-un robots.txt keşini yeniləyin

Avtomatik tarama prosesi zamanı Google-un botları robots.txt faylınızda etdiyiniz dəyişiklikləri görür və keşlənmiş versiyanı hər 24 saatdan bir yeniləyir. Keşi daha sürətli yeniləmək lazımdırsa, istifadə edin Yenidən tarama tələb et funksiyası
robots.txt hesabatı.

Alien Road

Bunu necə tətbiq edirik

Robots.txt changes propagate on Google’s schedule, not yours. We plan around the cache window when a change is part of a launch, because assuming immediate effect has cost clients days of blocked crawling.

Əlaqəli xidmətlər

Paylaş