robots.txt-də dəstəklənməyən qaydalar haqqında qeyd

2 iyul 2019-cu il, çərşənbə axşamı

Dünən elan etdik ki, biz
Google-un istehsalat robots.txt təhlilçisini açıq mənbəli edirik. Bu, gələcəkdə potensial Search açıq mənbə layihələrinə yol açan həyəcanverici an oldu! Rəylər faydalıdır və biz həvəslə suallar toplamaqdayıq
tərtibatçılardan və
veb-ustalardan eynidir. Bu yazıda ünvanlayacağımız bir sual

diqqət çəkdi:

Niyə crawl-delay kimi digər qaydalar üçün kod idarəedicisi koda daxil edilməyib? İnternet layihəsi dünən dərc etdiyimiz standartın bir hissəsi olmayan qaydalar üçün genişləndirilə bilən memarlıq təmin edir. Bu o deməkdir ki, əgər hər hansıskaner öz xəttini dəstəkləmək istəsəydi unicorns: allowed.

,
onlar edə bilərdilər. Bunun təhlilçidə necə görünəcəyini nümayiş etdirmək üçün çox yayılmış bir sətir daxil etdik,, sitemap, bizim
açıq mənbəli robots.txt təhlilçimizdəTəhlilçi kitabxanamızı açıq mənbəli edərkən robots.txt qaydalarının istifadəsini təhlil etdik. Xüsusilə, internet layihəsi tərəfindən dəstəklənməyən qaydalara diqqət yetirdik, məsələn

crawl-delay
nofollow, və
noindex . Bu qaydalar heç vaxt Google tərəfindən sənədləşdirilmədiyindən, təbii ki, Googlebot ilə əlaqəli istifadələri çox aşağıdır. Daha da dərindən araşdırdıqda gördük ki, onların istifadəsi internetdəki bütün robots.txt fayllarının 0.001%-i istisna olmaqla, digər qaydalarla ziddiyyət təşkil edir. Bu səhvlər vebsaytların Google-un axtarış nəticələrindəki mövcudluğuna veb-ustaların nəzərdə tutmadığı üsullarla zərər vurur.
Sağlam ekosistemi qorumaq və potensial gələcək açıq mənbəli buraxılışlara hazırlaşmaq maraqları naminə, 1 sentyabr 2019-cu il tarixində dəstəklənməyən və dərc olunmamış qaydaları idarə edən bütün kodları (məsələn, noindex

• ) ləğv edirik. İndeksasiya qaydasına etibar edənlər üçün
  noindex da robots.txt faylında, taramanı idarə edən bir sıra alternativ seçimlər mövcuddur: noindex
  içində robots
• 404 meta 410 teqləri::
  Həm HTTP cavab başlıqlarında, həm də HTML-də dəstəklənən
• noindex qaydası taramaya icazə verildikdə URL-ləri indeksdən çıxarmaq üçün ən təsirli üsuldur.
  vəHTTP status kodları
• Hər iki status kodu səhifənin mövcud olmadığını bildirir ki, bu da belə URL-lərin tarandıqdan və işləndikdən sonra Google indeksindən silinməsinə səbəb olacaq. Şifrə qorunması: İşarələmə göstərmək üçün istifadə edilmədiyi təqdirdə: abunəlik və ya ödənişli məzmun
• , səhifəni girişin arxasında gizlətmək adətən onu Google-un indeksindən çıxaracaq.:
  Disallow

içində
robots.txtAxtarış sistemləri yalnız bildikləri səhifələri indeksləşdirə bilər, ona görə də səhifənin tarandıqdan bloklanması adətən onun məzmununun indekslənməyəcəyi deməkdir. Axtarış sistemi digər səhifələrdən gələn keçidlərə əsasən URL-ni indeksləşdirə bilsə də, məzmunun özünü görmədən biz gələcəkdə belə səhifələri daha az nəzərə çarpan etməyi hədəfləyirik. Search Console URL-in Silinməsi aləti
Alət URL-ni Google-un axtarış nəticələrindən müvəqqəti olaraq silmək üçün tez və asan üsuledir. Məlumatların Google axtarış nəticələrindən necə silinməsi haqqında ətraflı məlimat üçün ziyarət edinYardım Mərkəzi . Suallarınız varsa, bizi tapa bilərsiniz Twitter

və bizim Veb-usta İcmasında