Robots.txtrobots.txt istifafəsi
robots.txt axtarış robotları üçün tarama parametrlərini müəyyən edir. Bölmələrin məhdudlaşdırılması server yükünü azaldır və saytın sürətini artırır. Yandex öz genişləndirmələri…
Robots.txt
Robots.txtUser-agent direktivi
Robot bununla başlayan qeydləri axtarır: User-agent: və ya alt sətri uyğunlaşdırır Yandex (registrə həssas olmadan) və ya *. Prioritet qaydaları…
Disallow və Allow direktivləri
Disallow bölmələrin və ya səhifələrin indekslənməsinin qarşısını alır; Allow onlara icazə verir. Yandex nəyin arxasında durduğunu sadalayır Disallow: məxfi məlumatları…
Robots.txtSitemap direktivi
The Sitemap direktivi sayt xəritəsinin harada yerləşdiyini elan edir. Bir neçəsi sadalana bilər, hər sətirə bir: User-agent: Yandex Allow: /…
Crawl-delay direktivi
Crawl-delay 22 fevral 2018-ci ildən bəri Yandex tərəfindən nəzərə alınmır. Direktivi hələ də saxlayan istənilən sayt heç bir iş görməyən…
Robots.txtCrawl-delay has been ignored by Yandex since 22 February 2018. Any site…
Clean-param direktivi Clean-param heç bir yerdə qarşılığı olmayan Yandex uzantısıdır: o, roota hansı URL parametrlərinin səhifə məzmununu dəyişmədiyini bildirir ki,…
Robots.txtRobotun Yandex-ə məxsus olduğunu necə yoxlamaq olar
Robotlar user agent təyin etməklə Yandex olduqlarını iddia edə bilərlər. Təsdiqləmə bu üsulla həyata keçirilir: tərsinə DNS sorğusu, və bu…
Robots.txtSaytda və ya serverdə yükü necə azalda bilərəm?
Robot öz ziyarətlərini planlaşdırır və yükü avtomatik tənzimləyir. Yeni bölmə, struktur dəyişikliyi və ya bir dəstə yeni URL aşkar etdikdə…