Robots.txt

Crawl-delay has been ignored by Yandex since 22 February 2018. Any site still carrying the directive is carrying a line that does nothing.

Ask AI about this page

1 views 2 dəq oxu

Clean-param direktivi Clean-param heç bir yerdə qarşılığı olmayan Yandex uzantısıdır: o, roota hansı URL parametrlərinin səhifə məzmununu dəyişmədiyini bildirir ki, variantlar bir ünvanda birləşsinvə toplanmış metrikalar ora köçürülsün . Bu köçürmə məhz ona görədir ki, Yandex parametrləşdirilmiş URL-lər üçün Disallow

əvəzinə onu tövsiyə edir.

Necə işləyir

Crawl-delay has been ignored by Yandex since 22 February 2018. Any site still carrying the directive is carrying a line that does nothing.
Yalnız izləmə parametri ilə fərqlənən üç ünvan verildikdə:

/some_dir/get_book.pl?ref=site_1&book_id=123
/some_dir/get_book.pl?ref=site_2&book_id=123
/some_dir/get_book.pl?ref=site_3&book_id=123

direktiv

User-agent: Yandex
Clean-param: ref /some_dir/get_book.pl onları aşağıdakı kimi daraldır:/some_dir/get_book.pl?book_id=123 — əgər saytda mövcuddursa, axtarışda görünən budur. Nəzərə alın ki, book_id qorunub saxlanılır — məzmunu müəyyən edən parametr

öz yerində qalır.

Sayt səviyyəsində forma

Crawl-delay has been ignored by Yandex since 22 February 2018. Any site still carrying the directive is carrying a line that does nothing. — 2
Yolu buraxın və qayda hər yerdə tətbiq olunur:

User-agent: Yandex
Clean-param: utm

Onu aktual saxlamağın niyə vacibliyi Yandex laqeydliyin qiymətini dəqiq izah edir: məzmuna təsir etməyən yeni parametr dublikat səhifələr yaradır və onların sayı çox olduğuna görərobot saytı daha yavaş tarayır — ona görə də vacib dəyişikliklərin axtarışda görünməsi daha çox vaxt alır

. Yeni izləmə parametri tətbiq edən marketinq qrupu buna görə də xəbəri olmadan tarama büdcəsi qərarı verir.

Sintaktik xatırlatmalar &Parametrlər bununla ayrılır: ; yol prefiksi bunlardanboşluq

ilə ayrılır. Bunu səhv etmək analizatorda analitikada “invalid Clean-param directive format” xətasına səbəb olur ki, bu da ümumi robots.txt yoxlayıcısının bildirməyəcəyi Yandex-ə məxsus xətalardan biridir.

Konsol ilə necə əlaqə qurur GET parametri parametrləri səhifəsi interfeys vasitəsilə eyni işi görür. İkisi razılaşmadıqda, indekslənmənin qarşısını alan qayda qalib gəlir — buna görə də köhnəlmiş Clean-param

Alien Road

Bunu necə tətbiq edirik

We keep a Clean-param line under review as part of ongoing work rather than writing it once, because every new campaign parameter that goes unlisted quietly multiplies the crawlable URL count. Explaining that link to the marketing team — new tracking parameter, slower indexing of new products — is more effective than any technical argument, because it connects the two things they each care about.

Əlaqəli xidmətlər

Paylaş