Robots meta teq, data-nosnippet və X-Robots-Tag spesifikasiyaları

Bu sənəd səhifə və mətn səviyyəsində parametrlərin Google-un məzmununuzu axtarış nəticələrində necə təqdim etdiyini tənzimləmək üçün necə istifadə oluna biləcəyini ətraflı izah edir. Səhifə səviyyəsində parametrləri daxil etməklə təyin edə bilərsiniz
meta HTML səhifələrində və ya HTTP başlığında etiket. Mətn səviyyəsində parametrləri təyin edə bilərsiniz data-nosnippet səhifə daxilindəki HTML elementlərində atribut.

Unutmayın ki, bu parametrlər yalnız treylerlərin bu parametrləri ehtiva edən səhifələrə daxil olmasına icazə verildiyi təqdirdə oxuna və izlənilə bilər.

The <meta name="robots" content="noindex"> qayda axtarış sistemi skanerlərinə şamil edilir. Axtarış sistemi olmayan skanerləri bloklamaq üçün, məsələn AdsBot-Google, xüsusi skanerə yönəlmiş qaydalar əlavə etməli ola bilərsiniz (məsələn,
<meta name="AdsBot-Google" content="noindex">).

İstifadə etməklə robots meta etiket

The robots meta teq sizə hər bir HTML səhifəsinin Google Axtarış nəticələrində necə indekslənməli və istifadəçilərə təqdim olunmalı olduğuna nəzarət etmək üçün qranulyar, səhifəyə xas yanaşmadan istifadə etməyə imkan verir. Yerləşdirin robots meta etiketi <head> verilmiş səhifənin bölməsi, məsələn:

teqlər”). Bu misalda, robots meta etiket axtarış sistemlərinə səhifəni axtarış nəticələrində göstərməməyi tapşırır. Qiyməti nameatributu( robots
) qaydanın bütün skanerlərə aid olduğunu müəyyən edir. Hər ikisi name və content atributları böyük-kiçik hərflərə həssas deyil. Xüsusi skanerə müraciət etmək üçün əvəz edin robots dəyəri
name müraciət etdiyiniz skanerlə işləyən agent nişanı olan atribut. Google iki istifadəçi agenti tokenini dəstəkləyir robots

1. metateqlər; digər dəyərlər nəzərə alınmır:
2. googlebot: bütün mətn nəticələri üçün.

googlebot-news : xəbər nəticələri üçün. Məsələn, Google-a xüsusi olaraq axtarış nəticələrində fraqment göstərməməyi tapşırmaq üçün siz təyin edə bilərsiniz googlebot adı kimi

meta
teq: Google-un veb axtarış nəticələrində tam fraqmenti göstərmək üçün, lakin Google Xəbərlərdə heç bir fraqment göstərməmək üçün təyin edin googlebot-news adı kimi

meta teq:
Birdən çox skanerləri fərdi şəkildə təyin etmək üçün birdən çox istifadə edin robots

Qeyd:
Google Search meta robots-un HTML başlığında yerləşdirilməsini məcbur etmir və HTML sənədinin bədən bölməsindəki robots meta teqlərinə də hörmət edəcəkdir. PDF faylları, video faylları və ya şəkil faylları kimi HTML olmayan resursların indekslənməsini bloklamaq üçün istifadə edinləriniz var / istifadə edinən x-robots-tag cavab başlığı əvəzinə.

İstifadə edərək X-Robots-Tag HTTP başlığı

The X-Robots-Tag müəyyən bir URL üçün HTTP başlığı cavabının elementi kimi istifadə oluna bilər. İstənilən robots meta teqində istifadə oluna bilən qayda həmçinin robots meta teqində də X-Robots-Tagkimi təyin edilə bilər. Budur, skanerlərə səhifəni indeksləşdirməməyi tapşıran
X-Robots-Tag ehtiva edən HTTP cavabının nümunəsi:

Birdən çox X-Robots-Tag başlıqları HTTP cavabında birləşdirilə bilər və ya vergüllə ayrılmış qaydalar siyahısını təyin edə bilərsiniz. Budur, noimageindex
X-Robots-Tag ilə birləşdirilmiş
unavailable_after X-Robots-Tag.

malik olan HTTP başlığı cavabının nümunəsi: The X-Robots-Tag istəyə görə qaydalardan əvvəl istifadəçi agentini təyin edə bilər. Məsələn, aşağıdakı X-Robots-Tag

HTTP başlıqları dəsti müxtəlif axtarış sistemləri üçün axtarış nəticələrində səhifənin göstərilməsinə şərti olaraq icazə vermək üçün istifadə oluna bilər:

qaydası tətbiq olunacaq.

Etibarlı indeksləmə və təqdimat qaydaları
Həmçininmaşın tərəfindən oxuna bilən formatda mövcud olan aşağıdakı qaydalar robots meta teqi və X-Robots-Tag iləsnippet indekslənməsini və təqdim olunmasını idarə etmək üçün istifadə oluna bilər. Hər bir dəyər xüsusi qaydanı təmsil edir. Birdən çox qayda birləşdirilə bilər vergüllə ayrılmış siyahıda və ya ayrı meta

Nümunə:

Kombinə edilmiş indeksləmə və xidmət qaydalarının idarə edilməsi Siz robots
meta taq qaydalarını vergüllərlə birləşdirərək və ya bir neçə meta taqdan istifadə edərək çoxqaydalı təlimat yarada bilərsiniz. Budur, veb krolerlərə səhifəni indeksləməməyi və səhifədəki heç bir linki krol etməməyi tapşıran robots meta

taq nümunəsi:

Budur, mətn fraqmentini 20 simvola qədər məhdudlaşdıran və böyük şəkil önizləməsinə icazə verən nümunə:

Müxtəlif qaydalarla birlikdə bir neçə krolerin göstərildiyi hallar üçün axtarış sistemi mənfi qaydaların cəmindən istifadə edəcək. Məsələn: Bu meta
taqları ehtiva edən səhifə Googlebot tərəfindən krol edildikdə noindex, nofollow

qaydasına malik kimi şərh olunacaqdır. İstifadə edərək data-nosnippet HTML atributu

Siz HTML səhifəsinin mətn hissələrini snippet kimi istifadə olunmaması üçün təyin edə bilərsiniz. Bu, HTML-element səviyyəsində data-nosnippet HTML atributu ilə
span, divvə
section elementlərində edilə bilər. data-nosnippet
bir
boolean atributuhesab olunur. Bütün boolean atributlarında olduğu kimi, göstərilən hər hansı dəyər nəzərə alınmır. Maşın tərəfindən oxunaqlılığı təmin etmək üçün HTML bölməsi etibarlı HTML olmalı və bütün müvafiq teqlər müvafiq qaydada bağlanmalıdır.

Nümunələr:

Google adətən səhifələri indeksləmək üçün render edir, lakin render edilməsi zəmanətli deyil. Buna görə də, data-nosnippet çıxarılması renderdən həm əvvəl, həm də sonra baş verə bilər. Renderdən qaynaqlanan qeyri-müəyyənliyin qarşısını almaq üçün JavaScript vasitəsilə mövcud düyünlərin
data-nosnippet atributunu əlavə etməyin və ya silməyin. JavaScript vasitəsilə DOM elementləri əlavə edərkən, elementi səhifənin DOM-una ilkin olaraq əlavə edərkən lazım olduqda
data-nosnippet atributunu daxil edin. Əgər xüsusi elementlərdən istifadə olunursa,
data-nosnippet, istifadə etmək lazımdırsa, onları div
span və ya
section.

elementləri ilə əhatə edin və ya render edin.

Strukturlaşdırılmış məlumatlardan istifadə Robots meta
teqləri Google-un axtarış nəticələri kimi göstərmək üçün veb səhifələrdən avtomatik çıxardığı məzmunun miqdarını tənzimləyir. Lakin bir çox naşirlər həmçinin xüsusi məlumatları . axtarış təqdimatı üçün əlçatan etmək üçün schema.org strukturlaşdırılmış məlumatlarından istifadə edirlər. Robots
meta teqinin məhdudiyyətləri,
article.description və digər yaradıcı işlər üçün nəzərdə tutulmuş strukturlaşdırılmış məlumatların
description dəyərləri istisna olmaqla, həmin strukturlaşdırılmış məlumatların istifadəsinə təsir etmir. Bu
description dəyərlərinə əsaslanan önizləmənin maksimum uzunluğunu təyin etmək üçün
max-snippet qaydasından istifadə edin. Məsələn, səhifədəki recipestrukturlaşdırılmış məlumatı, mətn önizləməsi məhdudlaşdırılsa belə, resept karuselində yer almaq hüququna malikdir. Mətn önizləməsinin uzunluğunu max-snippet ilə məhdudlaşdıra bilərsiniz, lakin bu robots

meta teqi məlumat zəngin nəticələr üçün strukturlaşdırılmış məlumatlardan istifadə edildikdə tətbiq olunmur. Veb səhifələriniz üçün strukturlaşdırılmış məlumatların istifadəsini idarə etmək üçün, yalnız əlçatan etmək istədiyiniz məlumatları təmin etmək məqsədilə məlumatı əlavə edərək və ya silərək strukturlaşdırılmış məlumat növlərini və dəyərlərini dəyişdirin. Həmçinin qeyd edək ki, strukturlaşdırılmış məlumatlar

data-nosnippet elementi daxilində elan edildikdə axtarış nəticələri üçün istifadə edilə bilən olaraq qalır.

X-Robots-Tag praktik tətbiqi Siz
X-Robots-Tag saytınızın veb server proqram təminatının konfiqurasiya faylları vasitəsilə saytın HTTP cavablarına əlavə edə bilərsiniz. Məsələn, Apache əsaslı veb serverlərdə .htaccess və httpd.conf fayllarından istifadə edə bilərsiniz. HTTP cavabları ilə

X-Robots-Tag istifadə etməyin üstünlüyü ondan ibarətdir ki, siz sayt üzrə qlobal miqyasda tətbiq olunan krol qaydalarını təyin edə bilərsiniz. Müntəzəm ifadələrin dəstəyi yüksək səviyyədə çevikliyə imkan verir.
Məsələn, bütün sayt üzrə bütün .PDF faylları üçün HTTP cavabına noindex, nofollow X-Robots-Tag əlavə etmək üçün, saytın kök .htaccess faylına və ya Apache-dəki httpd.conf faylına, yaxud NGINX-dəki

.conf faylına aşağıdakı snippet-i əlavə edin. Siz X-Robots-Tag HTML-də robots
meta teqlərinin istifadəsinin mümkün olmadığı şəkil faylları kimi qeyri-HTML faylları üçün istifadə edə bilərsiniz. Budur, bir nümunə: əlavə etmək üçün: "noindex" X-Robots-Tag bütün sayt boyu şəkil faylları (.png, .jpeg, .jpg, .gif) üçün qayda:

Siz həmçinin X-Robots-Tag başlıqlarını fərdi statik fayllar üçün təyin edə bilərsiniz:

robots.txt qaydalarını indeksləmə və xidmət qaydaları ilə birləşdirmək

robots meta teqləri və X-Robots-Tag HTTP başlıqları URL krol edildikdə aşkar edilir. Əgər səhifə robots.txt faylı vasitəsilə krol edilməkdən məhdudlaşdırılıbsa, indeksləmə və ya xidmət qaydaları haqqında heç bir məlumat tapılmayacaq və buna görə də nəzərə alınmayacaq. Əgər indeksləmə və ya xidmət qaydalarına əməl olunmalıdırsa, həmin qaydaları ehtiva edən URL-lərin krol edilməsinə qadağa qoyula bilməz.