Bloklanmış URL-lərin sazlanması

Çərşənbə axşamı, 19 sentyabr 2006-cı il

Vanessa son vaxtlar çoxlu yazılar paylaşır və mən kənarda qaldığımı hiss edirəm. Ona görə də budur sizə mənim müdriklik payım: Müşahidə etdim ki, bir neçə veb-ustarobots.txt tərəfindən bloklanıbxətalarından çaşqınlıq yaşayır və mən
robots.txt problemlərini sazlayarkən etdiyim addımları bölüşmək istədim:

Bloklanmış URL-i sazlamaq üçün rahat yoxlama siyahısı

Tutaq ki, veb-saytınız üçün skan xətalarına baxırsınız və nəzərdə tutmadığınız robots.txt tərəfindən məhdudlaşdırılmış URL görürsünüz:

robots.txt təhlil alətini yoxlayın

Edəcəyiniz ilk şey həmin sayt üçün
robots.txt təhlil aləti
nəzarət etməkdir. Doğru protokol və alt domenə diqqət yetirərək həmin URL üçün düzgün sayta baxdığınızdan əmin olun. (Alt domenlər və protokolların öz robots.txt faylı ola bilər, buna görə də https://www.example.com/robots.txt fərqli ola bilər
https://example.com/robots.txt və fərqli ola bilər
https://amanda.example.com/robots.txt.) Bloklanmış URL-i “Test URLs against this robots.txt file” xanasına yapışdırın. Əgər alət onun bloklandığını bildirirsə, deməli, probleminizi tapmısınız. Əgər alət onun icazə verildiyini bildirirsə, daha ətraflı araşdırmalıyıq.

robots.txt təhlil alətinin yuxarı hissəsində
HTTP status kodunabaxın. Əgər 200 (Uğurlu) və ya
404 (Tapılmadı) xaricində hər hansı digər status bildiririksə, o zaman robots.txt faylınıza çata bilməyə bilərik ki, bu da skan etmə prosesimizi dayandırır. (Nəzərə alın ki, robots.txt faylınızı sonuncu dəfə nə vaxt endirdiyimizi bu alətin yuxarı hissəsində görə bilərsiniz. Əgər faylınızda dəyişikliklər edirsinizsə, dəyişikliklərinizin son endirməmizdən sonra edilib-edilmədiyini yoxlamaq üçün bu tarixə və saata baxın.)

robots.txt faylınızdakı dəyişiklikləri yoxlayın

Əgər bunlar yaxşı görünürsə, xəta baş verdikdən sonra robots.txt faylınızın dəyişdirilib-dəyişdirilmədiyini yoxlamaq üçün onun sonuncu dəfə nə vaxt yeniləndiyini yoxlaya bilərsiniz. Əgər o, skan xətalarındakı xəta üçün göstərilən tarixdən sonra dəyişdirilibsə, ola bilər ki, kimqisə faylı dəyişdirib və yeni versiya artıq bu URL-i bloklamır.

URL yönləndirmələrini yoxlayın

Bu URL-in bloklanmadığına əminsinizsə, URL-in başqa səhifəyə yönləndirilib-yönləndirilmədiyini yoxlayın. Googlebot URL-i əldə edərkən URL-ə daxil olmağa icazəsi olduğundan əmin olmaq üçün robots.txt faylını yoxlayır. Əgər robots.txt faylı URL-ə daxil olmağa icazə verirsə, lakin URL yönləndirmə qaytarırsa, Googlebot təyinat URL-inin əlçatan olub-olmadığını görmək üçün robots.txt faylını yenidən yoxlayır. Əgər hər hansı mərhələdə Googlebot bloklanmış URL-ə yönləndirilirsə, o, robots.txt tərəfindən bloklandığı üçün orijinal URL-in məzmununu əldə edə bilmədiyini bildirir.

Bəzən bu davranışı sezmək asandır, çünki müəyyən bir URL həmişə başqa birinə yönləndirilir. Lakin bəzən bunu başa düşmək çətin ola bilər. Məsələn:

• Saytınızın ümumiyyətlə robots.txt faylı olmaya bilər (və buna görə də bütün səhifələrə girişə icazə verir), lakin saytdakı bir URL robots.txt faylı olan başqa bir sayta yönləndirə bilər. Bu halda, saytınız üçün robots.txt tərəfindən bloklanmış URL-lər görə bilərsiniz (robots.txt faylınız olmasa belə).
• Saytınız müəyyən sayda səhifə baxışından sonra qeydiyyat tələb edə bilər. Qeydiyyat səhifəsini robots.txt faylı ilə bloklamış ola bilərsiniz. Bu halda, URL-in özü yönləndirməyə bilər, lakin Googlebot URL-ə daxil olarkən qeydiyyat tələbini işə salarsa, o, bloklanmış qeydiyyat səhifəsinə yönləndiriləcək və orijinal URL skan xətaları səhifəsində robots.txt tərəfindən bloklanmış kimi siyahıya alınacaq.

Kömək istəyin

Nəhayət, əgər hələ də problemi tapa bilmirsinizsə, kömək üçün
forunumuzda
paylaşım edə bilərsiniz. Mesajınıza bloklanmış URL-i daxil etdiyinizə əmin olun. Bəzən başqalarının sizin gözdən qaçırdığınız səhvləri fərq etməsi daha asan olur.

Uğurlu sazlamalar! Yeri gəlmişkən, robots.txt-ə aidiyyəti yoxdur — veb-səhifələrinizin yuxarı hissəsində noindex meta teqlərinin olmadığına əmin olun; onlar da Google-un veb-saytı indeksimizdə göstərməməsi ilə nəticələnir.