Googlebot-un taradığı səhifələrin sayı

Cümə, 10 noyabr 2006-cı il

The Webmaster Tools-dakı Googlebot fəaliyyət hesabatları son 90 gündə Googlebot tərəfindən saytınızın tarandığı səhifələrin sayını göstərir. Bəzilərinizin bu rəqəmin niyə saytınızdakı ümumi səhifə sayından çox ola biləcəyini soruşduğunu görmüşük.
Googlebot saytınızın səhifələrini aşağıdakılar daxil olmaqla bir sıra amillərə əsasən tarayır:

onun artıq bildiyi səhifələr

• digər veb səhifələrdən gələn keçidlər (saytınız daxilində və digər saytlarda)
• Sitemap faylınızda qeyd olunan səhifələr
• Daha dəqiq desək, Googlebot səhifələrə deyil, URL-lərə daxil olur. Və çox vaxt eyni səhifəyə bir neçə URL vasitəsilə daxil olmaq olar. Aşağıdakı dörd URL vasitəsilə daxil oluna bilən saytın ana səhifəsini nəzərdən keçirək:

https://www.example.com/

• https://www.example.com/index.html
• https://example.com
• https://example.com/index.html
• Bütün URL-lər eyni səhifəyə aparsa da, hər dörd URL səhifəyə gedən keçidlərdə istifadə oluna bilər. Googlebot bu keçidləri izlədikdə, fəaliyyət hesabatına dörd ədəd əlavə edilir.

Digər bir çox ssenari eyni səhifə üçün bir neçə URL ilə nəticələnə bilər. Məsələn, bir səhifədə bir neçə adlandırılmış lövbər ola bilər, məsələn:

https://www.example.com/mypage.html#heading1

• https://www.example.com/mypage.html#heading2
• https://www.example.com/mypage.html#heading3
• Və dinamik olaraq yaradılmış səhifələrə çox vaxt bir neçə URL vasitəsilə daxil olmaq olar, məsələn:

https://www.example.com/furniture?type=chair&brand=123

• https://www.example.com/hotbuys?type=chair&brand=123
• Gördüyünüz kimi, saytınızdakı hər bir səhifənin ona aparan bir neçə URL-nin ola biləcəyini nəzərə alsaq, Googlebot-un taradığı URL-lərin sayı saytınızın ümumi səhifə sayından xeyli yüksək ola bilər.

Əlbəttə ki, siz (və biz) axtarış nəticələrində yalnız URL-nin bir versiyasının qaytarılmasını istəyirik. Narahat olmayın — tam olaraq bu baş verir. Alqoritmlərimiz daxil etmək üçün bir versiya seçir və siz bu seçimlər prosesinə təsir edə bilərsiniz.

URL-nin üstünlük verilən versiyasına yönləndirin

Bunu istifadə edərək edə bilərsiniz

301 (daimi)
yönləndirmə . Saytın ana səhifəsinə işarə edən dörd URL göstərən ilk nümunədə index.html-i www.example.com/-ə yönləndirmək istəyə bilərsiniz. Və istəyə bilərsiniz ki, bir versiya ilə başlayan hər hansı URL digər versiyaya yönləndirilsin deyə example.com-u www.example.com-a yönləndirəsiniz. Nəzərə alın ki, bu sonuncu yönləndirməni webmaster tools-dakıPreferred Domain xüsusiyyəti
ilə edə bilərsiniz. (Əgər siz həmçinin yönləndirmə istifadə edirsinizsə, bu yönləndirmənin üstünlük verilən domen üçün təyin etdiyinizə uyğun olduğundan əmin olun.) 301 robots.txt faylı ilə URL-nin üstünlük verilməyən versiyalarını bloklayın

Dinamik olaraq yaradılmış səhifələr üçün robots.txt faylınızda

pattern matching
istifadə edərək üstünlük verilməyən versiyanı bloklamaq istəyə bilərsiniz. (Nəzərə alın ki, bütün axtarış sistemləri pattern matching-i dəstəkləmir, ona görə də maraqlandığınız hər bir axtarış sistemi botu üçün təlimatları yoxlayın.) Məsələn, 123 brendindən mövcud olan stullar haqqında səhifəyə işarə edən iki URL göstərən üçüncü nümunədə, “hotbuys” bölməsi dövri olaraq dəyişir və məzmun həmişə əsas və daimi yerdən əlçatandır. Bu halda, birinci versiyanı indeksləşdirmək və “
hotbuys” versiyasını bloklamaq istəyə bilərsiniz. Bunu etmək üçün robots.txt faylınıza aşağıdakıları əlavə edin:Bu qaydanın həqiqətən nəzərdə tutduğunuzu bloklayacağına və icazə verəcəyinə əmin olmaq üçün Webmaster Tools-da robots.txt təhlil alətindən istifadə edin. Sadəcə bu qaydanı həmin səhifədəki robots.txt bölməsinə əlavə edin, yoxlamaq istədiyiniz URL-ləri “Test URLs” bölməsində qeyd edin və Check düyməsini sıxın. Bu nümunə üçün belə bir nəticə görəcəksiniz:

Lövbərlərə olan keçidlərdən narahat olmayın, çünki Googlebot hər bir keçidi tarayacaq, lakin alqoritmlərimiz URL-ni lövbər olmadan indeksləşdirəcək.

Və əgər yuxarıda təsvir edilən kimi giriş təmin etməsəniz, alqoritmlərimiz axtarış nəticələrində göstərmək üçün bir versiya seçməkdə həqiqətən yaxşı iş görür.

Googlebot-un taradığı səhifələrin sayı | Alien Road