Обновление пользовательского агента (user agent) Googlebot

Среда, 2 октября 2019 г.

Googlebot использует браузер на базе Chrome для рендеринга веб-страниц, как
мы объявили на конференции Google I/O ранее в этом году. В рамках этого в декабре 2019 года мы обновим строки пользовательского агента Googlebot, чтобы отразить новую версию браузера, и будем периодически обновлять номера версий в соответствии с обновлениями Chrome в Googlebot.

См. краулеры Google (user agents)
и
Убедитесь, что Google может индексировать JavaScript
для получения дополнительной информации о строках пользовательских агентов и рендеринге.

Пользовательские агенты Googlebot сегодня

Мобильные устройства:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Десктоп:

Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

ИЛИ

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +https://www.google.com/bot.html) Safari/537.36

Новый вечнозеленый (evergreen) Googlebot и его пользовательский агент

В декабре мы начнем периодически обновлять указанные выше строки пользовательских агентов, чтобы отражать версию Chrome, используемую в Googlebot. В следующих строках пользовательского агента
W.X.Y.Z будет заменено на
версию Chrome
которую мы используем. Например, вместо W.X.Y.Z вы увидите что-то вроде
76.0.3809.100. Этот номер версии будет регулярно обновляться.

Мобильные устройства:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Десктоп:

Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

ИЛИ

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +https://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Как протестировать ваш сайт

Мы провели оценку и уверены, что большинство веб-сайтов не пострадают от этого изменения.

Сайты, которые следуют нашим рекомендациям использовать определение возможностей (feature detection) и прогрессивное улучшение вместо проверки пользовательского агента (user agent sniffing), должны продолжать работать без каких-либо изменений.

Если ваш сайт проверяет определенный пользовательский агент, он может пострадать. Вам следует использовать определение возможностей вместо проверки пользовательского агента. Если вы не можете использовать определение возможностей и вам нужно определить Googlebot через пользовательский агент, ищите “Googlebot” в строке пользовательского агента.

Некоторые распространенные проблемы, которые мы заметили при оценке этого изменения, включают в себя:

• Страницы, которые выводят сообщение об ошибке вместо обычного содержимого страницы. Например, страница может принять Googlebot за пользователя с блокировщиком рекламы и случайно заблокировать ему доступ к содержимому страницы.
• Страницы, которые перенаправляют на документ, закрытый для роботов или содержащий тег noindex.

Если вы не уверены, затронуты ли изменения на вашем сайте, вы можете попробовать загрузить свою веб-страницу в браузере, используя новый пользовательский агент Googlebot.
Эти инструкции
показывают, как переопределить пользовательский агент в Chrome.

Если у вас возникли вопросы, обязательно обратитесь в наше
сообщество помощи веб-мастерам, присоединяйтесь к нашим
часам консультаций для веб-мастеров на YouTube или
подписывайтесь на нас в Twitter.

Опубликовано Зои Клиффорд (Zoe Clifford), инженером-программистом в команде Web Rendering Услуга