robots.txt fayllarının yoxlanılması asanlaşdırıldı

Çərşənbə, 16 iyul 2014-cü il

İndeksləmək, yoxsa indeksləməmək, əsas robots.txt sualı budur.

Düzgün robots.txt fayllarının yaradılması və saxlanılması bəzən çətin ola bilər. Əksər saytlar üçün bu asan olsa da (ipucu: onlar çox vaxt robots.txt faylına belə ehtiyac duymurlar!), ayrı-ayrı URL-ləri bloklayan və ya bloklamış böyük robots.txt faylı içindəki qaydaları tapmaq olduqca çətin ola bilər. Bunu asanlaşdırmaq üçün biz indi yenilənmiş
robots.txt sınaq alətini
Veb-ustalar Alətlərində elan edirik.

Yenilənmiş sınaq alətini
Veb-ustalar Alətlərində
Crawl bölməsində tapa bilərsiniz:

Burada cari robots.txt faylını görə və indeksləmə üçün qadağan olub-olmadığını yoxlamaq üçün yeni URL-ləri sınaya bilərsiniz. Mürəkkəb qaydalardan keçməyinizə kömək etmək üçün o, son qərara səbəb olan xüsusi qaydanı vurğulayacaq. Faylda dəyişikliklər edə və onları da sınaya bilərsiniz, dəyişikliklərin qüvvəyə minməsi üçün sadəcə olaraq faylın yeni versiyasını serverinizə yükləməli olacaqsınız. Tərtibatçılar saytımızda
robots.txt qaydaları və faylların necə işlənməsi haqqında ətraflı məlumat.

mövcuddur 500 Bundan əlavə, siz robots.txt faylınızın köhnə versiyalarını nəzərdən keçirə və giriş problemlərinin bizi indeksləmədən saxladığı vaxtları görə bilərsiniz. Məsələn, Googlebot

robots.txt faylı üçün server xətası
görərsə, biz ümumiyyətlə vebsaytın daha da indekslənməsini dayandıracağıq.
Mövcud saytlarınız üçün bəzi səhvlər və ya xəbərdarlıqlar göstərilə biləcəyi üçün biz onların robots.txt fayllarını iki dəfə yoxlamağı tövsiyə edirik. Onu Veb-ustalar Alətlərinin digər hissələri ilə də birləşdirə bilərsiniz: məsələn, vebsaytınızdakı vacib səhifələri göstərmək üçün yenilənmiş

Google kimi gətir alətindən
istifadə edə bilərsiniz. Hər hansı bloklanmış URL bildirilərsə, onları bloklayan qaydanı tapmaq üçün bu robots.txt test cihazından istifadə edə və əlbəttə ki, onu təkmilləşdirə bilərsiniz. Gördüyümüz ümumi problem CSS, JavaScript və ya mobil məzmunu bloklayan köhnə robots.txt fayllarından qaynaqlanır – bunu gördükdən sonra düzəltmək adətən çox sadədir.!

Ümid edirik ki, bu yenilənmiş alət robots.txt faylını sınamağı və saxlamağı sizin üçün daha asanlaşdırır. Hər hansı sualınız varsa və ya yaxşı qaydalar dəsti hazırlamaq üçün köməyə ehtiyacınız varsa, veb-usta yardım forumumuzabaş çəkə bilərsiniz