Новый user-agent Googlebot для сканирования контента для смартфонов

Четверг, 23 января 2014 г.

С течением времени Google использовал различные сканеры для сканирования и индексации контента для обычных мобильных телефонов и смартфонов. Все эти мобильные сканеры назывались Googlebot-Mobile. Тем не менее, обычные телефоны и смартфоны имеют существенно разные возможности устройств, и мы сталкивались с ситуациями, когда веб-мастера непреднамеренно блокировали сканирование или индексацию для смартфонов, хотя на самом деле хотели заблокировать сканирование или индексацию только для обычных телефонов. Эта неопределенность делала невозможным для Google индексацию контента для смартфонов на некоторых сайтах или распознавание того, что эти сайты оптимизированы для смартфонов.

Новый Googlebot для смартфонов

Чтобы внести ясность и предоставить веб-мастерам больше контроля, мы откажемся от «Googlebot-Mobile» для смартфонов в качестве user-agent примерно через 3–4 недели. С этого момента user-agent для смартфонов будет просто определяться как «Googlebot», но по-прежнему будет отображаться в
мобильном разделе user-agent строки. Вот новые и старые user-agents:

Новый Googlebot для смартфонов user-agent

:

(обновлено в августе 2015 г.)

Googlebot-Mobile для смартфонов user-agent , от которого мы скоро откажемся:

Это изменение затрагивает только Googlebot-Mobile для смартфонов. User-agent обычного Googlebot не меняется, а два оставшихся сканера Googlebot-Mobile продолжат ссылаться на обычные мобильные устройства в своих user-agent строках; для справки, это:

Обычный Googlebot user-agent:

Два user-agent Googlebot-Mobile для обычных мобильных телефонов:

Вы можете протестировать свой сайт с помощью
функции «Просмотр как Google» в Инструментах для веб-мастеров,
и вы можете увидеть полный список наших
существующих сканеров в Справочном центре.

Сканирование и индексация

Обратите внимание на это важное последствие user-agent обновления: Новый
сканер Googlebot для смартфонов будет следовать правилам robots.txt, robots мета- тега и заголовка HTTP для Googlebot вместо Googlebot-Mobile. Например, когда новый сканер будет развернут, это правило robots.txt заблокирует все сканирование новым Googlebot для смартфонов user-agent, а также обычным
Googlebot:

Это правило robots.txt заблокирует сканирование сканерами обычных телефонов Google:

Основываясь на нашем внутреннем анализе, это обновление затрагивает менее 0,001% URL-адресов, одновременно предоставляя веб-мастерам больший контроль над сканированием и индексацией их контента. Как всегда, если у вас есть вопросы, вы можете:

• Прочитать наши
  рекомендации по созданию сайтов, оптимизированных для смартфонов
• Узнать больше о
  том, как управлять сканированием и индексацией Googlebot
• Задать вопрос на наших
  форумах помощи для веб-мастеров
  или посетить одно из наших
  мероприятий Webmaster Central office hours hangouts.

Автор: Чжицзянь Хэ (Zhijian He), инженер по поиску для смартфонов