Mobil axtarış nəticələrində görünən URL elementinin sadələşdirilməsi | Alien Road

Mobil istifadəçilər tezliklə axtarış nəticələrində URL-lərin daha təmiz və səliqəli görünüşünü görəcəklər.

Robots Xatırlatması: yeni seriyanın təqdimatı 24 fevral 2025-ci il, bazar ertəsiArada bir bizə robots.txt, robots meta teqləri və onların təklif etdiyi idarəetmə funksionallığı haqqında suallar verilir. Veb saytların indekslənməsi ilə bağlı

dekabr seriyamızdan

sonra düşündük ki, bu, yüngül bir xatırlatmanı bir araya gətirmək üçün mükəmməl vaxtdır. Beləliklə, əgər bu idarəetmə vasitələri ilə maraqlanırsınızsa, bu yeni bloq yazısı seriyasını izləyin!

A “Gəlin lap əvvəldən, robots.txt ilə başlayaq.Bəs robots.txt nədir? robots.txt istənilən veb-saytın təqdim edə biləcəyi fayldır. Ən sadə formasında, o, serverdə saxlanılan mətn faylıdır. Demək olar ki, bütün veb-saytlarda robots.txt faylı var . Onlardan birinə baxmaq üçün domen adını götürün və sonuna /robots.txt.

əlavə edin, sonra həmin ünvana daxil olun. Məsələn, bu veb saytın robots.txt faylı

developers.google.com/robots.txt

ünvanındadır.

Əksər veb-saytlar bu faylları avtomatik yaradan məzmun idarəetmə sistemlərindən (CMS) istifadə edir, lakin hətta veb-saytınızı “əl ilə” qurursunuzsa belə, onu yaratmaq asandır. Gələcək yazılarda bəzi variasiyalara nəzər salacağıq. Bu fayllar nə üçündür?
robots.txt faylları veb-krolerlərə veb-saytın hansı hissələrinin avtomatlaşdırılmış giriş üçün əlçatan olduğunu (biz bunu krolinq adlandırırıq) və hansı hissələrinin əlçatan olmadığını bildirir. O, saytlara öz bütün saytını, saytının hissələrini və ya hətta saytlarındakı müəyyən faylları idarə etməyə imkan verir. Maşın tərəfindən oxunaqlı olmaqla yanaşı, fayllar həm də insanlar tərəfindən oxunaqlıdır. Bu o deməkdir যে, müəyyən bir kroler tərəfindən səhifəyə avtomatlaşdırılmış şəkildə daxil olmağa icazə verilib-verilməməsi ilə bağlı həmişə birmənalı hə və ya yox cavabı mövcuddur.

Kroler quran hər kəs üçün bu direktivlərə əməl etmək standart təcrübədir və tərtibatçı üçün onlar üçün dəstək vermək asandır — tərtibatçılar üçün

1000-dən çox açıq mənbəli kitabxana
mövcuddur. Fayl krolerlərə veb-saytın optimal krol edilməsi üçün təlimatlar verir. Müasir veb-saytlar mürəkkəb ola bilər, onlarda avtomatik naviqasiya etmək çətin ola bilər və robots.txt qaydaları krolerlərə müvafiq məzmuna diqqət yetirməyə kömək edir. Bu, həm də krolerlərə serverdə yük yarada bilən və krol etməyi lazımsız şəkildə səmərəsiz edən dinamik olaraq yaradılmış səhifələrdən qaçmağa kömək edir. robots.txt faylları həm texniki cəhətdən faydalı, həm də veb-sayt sahibləri ilə əlaqələr üçün yaxşı olduğundan, əksər kommersiya kroler operatorları onlara əməl edirlər.
İctimaiyyət tərəfindən qurulmuş və genişləndirilmişdir
robots.txt faylları demək olar ki, internetin mövcud olduğu müddət ərzində mövcuddur və o, internetin olduğu kimi işləməsini təmin edən əsas alətlərdən biridir. Veb səhifələrin təməli olan HTML 1991-ci ildə icad edilmişdir, ilk brauzerlər 1992-ci ildə gəldi və robots.txt 1994-cü ildə gəldi. Bu o deməkdir ki, onlar hətta 1998-ci ildə yaradılmış Google-dan da əvvələ gedib çıxır. Format o vaxtdan bəri əsasən dəyişməz qalıb və
erkən dövrlərə aid bir fayl

indən də etibarlı olardı. Üçillik qlobal ictimaiyyətin cəlb edilməsi vasitəsilə o, 2022-ci ildə

IETF təklif olunan standartı

halına gətirildi. Əgər veb-saytınız varsa, ehtimal ki, sizdə də robots.txt faylı var. robots.txt ətrafında canlı və fəal icma mövcuddur, hər ölçüdə və formada robots.txt fayllarını qurmağa, sınaqdan keçirməyə, idarə etməyə və ya başa düşməyə kömək edən minlərlə proqram təminatı alətləri var. Bununla belə, robots.txt-nin gözəlliyi ondadır ki, sizə dəbdəbəli alətlər lazım deyil, faylı brauzerdə oxumaq və idarə etdiyiniz veb-sayt üçün onu sadə mətn redaktorunda tənzimləmək mümkündür.
İrəliyə baxış…

robots.txt formatı çevikdir. Böyümək üçün yer var, ictimai veb icması onu genişləndirə bilər və krolerlər mövcud istifadəni pozmadan, lazım olduqda uzantıları elan edə bilərlər.

Bu, 2007-ci ildə

axtarış sistemləri “sitemap” direktivini elan edəndə baş verdi. Bu, həm də süni intellekt məqsədləri üçün istifadə edilənlər kimi yeni “user-agent”lər kroler operatorları və axtarış sistemləri tərəfindən dəstəkləndikcə müntəzəm olaraq baş verir.robots.txt qalmaq üçündür. Yeni fayl formatlarının daha böyük internet icması ilə yekunlaşması bir neçə il çəkir, onları ekosistem üçün faydalı edən düzgün alətlərin yaradılması isə daha çox vaxt tələb edir. Bu, asandır, qranulyar və ifadəlidir, yaxşı başa düşülür və qəbul edilir və onilliklər boyu işlədiyi kimi, sadəcə işləyir.

Təfərrüatlar haqqında daha çox eşitmək istəyirsiniz? Search Central bloqundakı Robots Xatırlatması seriyamızın növbəti buraxılışları üçün bizi izləyin!