Использование мета-тега robots

Вторник, 6 марта 2007 г.

Недавно Дэнни Салливан поднял хорошие вопросы о том, как
поисковые системы обрабатывают мета теги.
Вот несколько ответов о том, как мы работаем с этими тегами в Google.

Несколько значений контента

Мы рекомендуем размещать все значения контента в одном meta тег. Это сохраняет meta теги легко читаются и снижают вероятность конфликтов. Например:

Если страница содержит несколько meta теги одного типа, мы будем суммировать значения контента.
Например, мы будем интерпретировать

так же как:

Если значения контента противоречат друг другу, мы будем использовать наиболее ограничительное. Итак, если на странице есть эти meta теги:

Мы будем подчиняться noindex ценность.

Ненужные значения контента

По умолчанию Googlebot индексирует страницу и переходит по ссылкам на ней. Так что нет необходимости размечать страницы index или follow.

Направление robots meta тег специально для Googlebot

Чтобы предоставить инструкции для всех поисковых систем, установите мета-имя robots. К
Чтобы предоставить инструкции только для Googlebot, установите мета-имя Googlebot. Если ты хочешь
предоставлять разные инструкции для разных поисковых систем (например, если вам нужна одна
поисковой системе для индексации страницы, но не другой), лучше всего использовать определенный meta тег для каждой поисковой системы, а не использовать общий robots meta тег в сочетании с конкретным. Вы можете найти список ботов на robotstxt.org.

Регистр и интервалы

Googlebot понимает любую комбинацию строчных и прописных букв. Так что каждый из этих meta теги интерпретируются абсолютно одинаково:

Если у вас несколько значений содержимого, вы должны поставить между ними запятую, но это не имеет значения.
если вы также включаете пробелы. Итак, следующие meta теги интерпретируются одинаково:

Если вы используете как файл robots.txt, так и robots meta теги

Если инструкции robots.txt и мета-тега для страницы противоречат друг другу, Googlebot следует наиболее
ограничительный. Точнее: Если вы заблокируете страницу с помощью robots.txt, Googlebot никогда не будет сканировать ее и никогда не прочитает meta

• теги на странице.
  Если вы разрешили страницу с помощью robots.txt, но заблокировали ее индексацию с помощью meta
• тег, Googlebot
  зайдите на страницу, прочитайте meta теги и впоследствии не индексировать их. Допустимые мета-значения роботов Googlebot интерпретирует следующее

robots

meta значения тегов: noindex : предотвращает включение страницы в индекс.

• nofollow: запрещает Googlebot переходить по любым ссылкам на странице. (Обратите внимание, что это
  отличается от уровня ссылки
• nofollowатрибут, который мешает Googlebot
  переход по одной ссылке.) noarchive : запрещает доступ к кэшированной копии этой страницы в поиске
  результаты.
• typeobject
• nosnippet: предотвращает появление описания под страницей в результатах поиска, а также предотвращает кэширование страницы.
• noodp: блокирует использование описания
  Open Directory Project страницы в описании, которое появляется под страницей в результатах поиска.
• none: эквивалентно noindex, nofollow.

Пара слов о ценности контента none

Как определено
robotstxt.org, следующая инструкция означает noindex, nofollow.

Однако некоторые веб-мастера используют этот тег, чтобы указать на отсутствие ограничений для роботов, и непреднамеренно блокируют все поисковые системы от своего контента.