Вторник, 3 июня 2008 г.
Веб-издатели часто спрашивают нас, как они могут максимизировать свою видимость в Интернете. Во многом это связано с поисковой оптимизацией — обеспечением того, чтобы контент издателя появлялся во всех поисковых системах.
Тем не менее, бывают случаи, когда издателям необходимо передать поисковым системам дополнительную информацию, например то, что они не хотят, чтобы определенный контент появлялся в результатах поиска. И для этого они используют нечто под названием
Протокол исключения роботов (REP), который позволяет издателям контролировать, как поисковые системы получают доступ к их сайту: будь то контроль видимости их контента на всем сайте (через robots.txt) или на гораздо более детальном уровне для отдельных страниц (через meta теги).
С момента своего появления в начале 90-х годов REP стал де-факто стандартом, с помощью которого веб-издатели указывают, какие части своего сайта они хотят сделать общедоступными, а какие — конфиденциальными. Сегодня миллионы издателей используют REP как простой и эффективный способ связи с поисковыми системами. Его сила заключается в его гибкости развиваться параллельно с Интернетом, универсальном внедрении во всех основных поисковых системах и всех основных роботах, а также в том, как он работает для любого издателя, независимо от его размера.
Хотя REP соблюдается практически всеми поисковыми системами, мы никогда раньше не собирались вместе, чтобы подробно описать, как каждый из нас интерпретирует различные теги. За последние пару лет мы поработали с Microsoft и Yahoo!, чтобы продвинуть такие стандарты, как
Карты сайта
(Sitemaps) и предложить дополнительные инструменты для веб-мастеров. С момента первоначального объявления мы выпускали и будем продолжать выпускать дальнейшие улучшения на основе отзывов сообщества.
Сегодня, в том же духе упрощения жизни веб-мастеров, мы выпускаем подробную документацию о том, как мы реализуем REP. Это обеспечит единую реализацию для веб-мастеров и облегчит любому издателю понимание того, как правила REP будут обрабатываться тремя основными поисковыми системами, делая REP более интуитивно понятным и удобным для еще большего числа издателей в Интернете.
Итак, без лишних слов…
Общие правила REP
В следующем списке приведены все основные функции REP, в настоящее время реализованные Google, Microsoft и Yahoo!. Для каждой функции вы увидите, что она делает и как ее следует передавать.
Каждое из этих правил может быть применено ко всем краулерам или к определенным краулерам путем их нацеливания на конкретные пользовательские агенты (user-agents), с помощью которых идентифицирует себя любой краулер. Помимо идентификации по пользовательскому агенту, каждый из наших краулеров также поддерживает аутентификацию на основе обратного DNS, позволяя вам проверять подлинность краулера.
Правила Robots.txt
| Правило | Влияние | Варианты использования |
Disallow | Сообщает краулеру не индексировать ваш сайт — однако файл robots.txt вашего сайта все равно должен быть просканирован для обнаружения этого правила, при этом запрещенные страницы сканироваться не будут | Страница “Не сканировать” с сайта. Это правило в синтаксисе по умолчанию предотвращает сканирование определенного пути (путей) сайта. |
Allow | Сообщает краулеру о конкретных страницах на вашем сайте, которые вы хотите проиндексировать, чтобы вы могли использовать это в сочетании с Disallow | Это особенно полезно в сочетании с инструкциями Disallow, когда большой раздел сайта закрыт для сканирования за исключением небольшого подраздела в нем |
$ Поддержка подстановок (Wildcard) | Сообщает краулеру сопоставлять все, начиная с конца URL-адреса — большое количество директорий без указания конкретных страниц | Файлы “Не сканировать” с определенными шаблонами, например, файлы с определенными типами файлов, которые всегда имеют определенное расширение, скажем, pdf |
* Поддержка подстановок (Wildcard) | Сообщает краулеру сопоставлять последовательность символов | URL-адреса “Не сканировать” с определенными шаблонами, например, запретить URL-адреса с идентификаторами сеансов или другими посторонними параметрами |
Карты сайта Расположение | Сообщает краулеру, где он может найти ваши Карты сайта | Укажите другие места, где существуют фиды, чтобы помочь краулерам находить URL-адреса на сайте |
HTML meta правила
| Правило | Влияние | Варианты использования |
noindex meta тег | Сообщает краулеру не индексировать заданную страницу | Не индексировать страницу. Это позволяет исключить просканированные страницы из индекса. |
nofollow meta тег | Сообщает краулеру не переходить по ссылке на другой контент на заданной странице | Предотвращение злоупотребления общедоступными областями для записи со стороны спамеров, ищущих ссылочный вес. Используяnofollow вы даете роботу понять, что игнорируете все исходящие ссылки с этой страницы |
nosnippet meta тег | Сообщает краулеру не отображать сниппеты в результатах поиска для заданной страницы | Не представлять никаких сниппетов для страницы в результатах поиска |
noarchive meta тег | Сообщает поисковой системе не показывать кэшированную ссылку для заданной страницы | Не делать доступной для пользователей копию страницы из кэша поисковой системы |
noodp meta тег | Сообщает краулеру не использовать заголовок и сниппет из проекта Open Directory Project для заданной страницы | Не использовать заголовок и сниппет ODP (Open Directory Project) для этой страницы |
Эти правила применимы для всех форм контента. Их можно разместить либо в HTML страницы, либо в заголовке HTTP для контента, не являющегося HTML, например PDF, видео и т. д., используя
X-Robots-Tag. Вы можете прочитать об этом подробнее здесь:
X-Robots-Tag Публикация или в
es
об использовании роботов и
наша серия публикаций meta тегах.
Другие правила REP
Перечисленные выше правила используются Microsoft, Google и Yahoo!, но могут поддерживаться не всеми остальными поисковыми системами. Кроме того, следующие правила поддерживаются Google, но не поддерживаются всеми тремя поисковиками, как указанные выше:
unavailable_after meta тег – Сообщает краулеру,
когда страница должна “истечь”,то есть после какой даты она не должна появляться в результатах поиска.
noimageindex meta тег – Сообщает краулеру,
что не нужно индексировать изображения для определенной страницы
в результатах поиска.
notranslate meta тег – Сообщает краулеру,
что не нужно переводить контент страницы на разные языки
для результатов поиска.
В дальнейшем мы планируем продолжать совместную работу, чтобы по мере появления новых способов использования REP мы могли сделать их максимально простыми для использования веб-мастерами. Так что следите за новостями!
Узнать больше
Вы можете узнать больше о robots.txt в нашей
документации и в
справочном центре Google для веб-мастеров,который содержит много полезной информации, в том числе:
- Как создать файл robots.txt
- Описания каждого user-agent, используемого Google
- Как использовать сопоставление с образцом (pattern matching)
- Как часто мы повторно сканируем ваш файл robots.txt
Мы также опубликовали несколько материалов в нашем блоге для веб-мастеров о robots.txt, которые могут показаться вам полезными, например:
Существует также
полезный список ботов,
используемых основными поисковыми системами.
Чтобы узнать мнение наших коллег, вы также можете ознакомиться с публикациями в блоге, выпущенными
Yahoo! и
Microsoft.
Как мы это применяем
Google announcements age. We keep this post here for the record, and we note for clients whether the behaviour it describes still applies today or has since been superseded.
Связанные услуги