Вторник, 06 марта 2007 г.
Роботы поисковых систем, включая наш собственный Googlebot, невероятно вежливы. Они усердно работают, чтобы уважать каждое ваше пожелание относительно того, какие страницы они должны, а какие не должны сканировать. Как они могут узнать разницу? Вы должны сказать им это, и вы должны говорить на их языке, который является отраслевым стандартом под названием
Robots Exclusion Protocol.
Дэн Кроу недавно писал об этом в блоге Google, включая введение в настройку ваших собственных правил для роботов и описание некоторых более продвинутых опций. Его первые два поста в серии:
- Контроль того, как поисковые системы получают доступ к вашему веб-сайту и индексируют его
- Robots Exclusion Protocol
Следите за следующей частью.
Следите за следующей частью.
Раз уж мы заговорили об этом, я также хотел бы направить вас в
раздел роботов нашего справочного центра
и наши предыдущие посты по этой теме:
Как мы это применяем
We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.
Связанные услуги