Googlebot

Googlebot — это общее название для двух типов
веб-краулеров используемых поиском Google:

• Googlebot Smartphone:
  мобильный краулер, имитирующий пользователя на мобильном устройстве.
• Googlebot Desktop:
  десктопный краулер, имитирующий пользователя на настольном компьютере.

Вы можете определить подтип Googlebot, посмотрев на
HTTP user-agent заголовок запроса
в запросе. Однако оба типа краулеров подчиняются одному и тому же токену продукта (токену агента пользователя) в файле robots.txt, поэтому вы не можете выборочно нацеливаться на Googlebot Smartphone или Googlebot Desktop с помощью robots.txt.

Для большинства сайтов поиск Google индексирует в первую очередь
мобильную версию
контента. Таким образом, большинство запросов на сканирование от Googlebot будут выполняться с использованием мобильного краулера, а меньшинство — с использованием десктопного краулера.

Как Googlebot получает доступ к вашему сайту

Для большинства сайтов Googlebot не должен обращаться к вашему сайту чаще, чем раз в несколько секунд в среднем. Однако из-за задержек может показаться, что частота немного выше в течение коротких периодов времени. Если ваш сайт с трудом справляется с запросами на сканирование от Google, вы можете уменьшить частоту сканирования.

При сканировании для поиска Google, Googlebot сканирует первые 2 МБ
поддерживаемого типа файлаи первые 64 МБ PDF-файла. С точки зрения рендеринга, каждый ресурс, на который есть ссылка в HTML (например, CSS и JavaScript), извлекается отдельно, и каждое извлечение ресурса ограничено тем же лимитом размера файла, который применяется к другим файлам (за исключением PDF-файлов).
Как только лимит достигнут, Googlebot останавливает извлечение и отправляет только уже загруженную часть файла для рассмотрения индексации. Лимит размера файла применяется к несжатым данным. Другие краулеры Google, например Googlebot Video и Googlebot Image, могут иметь
другие лимиты.

При сканировании с IP-адресов в США часовой пояс Googlebot —
Тихоокеанское время.

Другие
технические свойства Googlebot
описаны в обзоре краулеров Google.

Блокировка Googlebot от посещения вашего сайта

Googlebot обнаруживает новые URL для сканирования в основном по ссылкам, встроенным в ранее просканированные страницы. Почти невозможно сохранить сайт в секрете, не публикуя ссылки на него. Например, как только кто-то переходит по ссылке с вашего “секретного” сайта на другой сайт, URL вашего “секретного” сайта может появиться в теге реферера и может быть сохранен и опубликован другим сайтом в его журнале рефереров.

Если вы хотите предотвратить сканирование контента на вашем сайте краулером Googlebot, у вас есть
ряд вариантов. Помните, что есть разница между сканированием и индексацией; блокировка Googlebot от сканирования страницы не предотвращает появление URL страницы в результатах поиска:

• Предотвратить сканирование страницы краулером Googlebot? Используйте файл robots.txt
  Не хотите, чтобы Google индексировал страницу?.
• Используйте noindex
  Предотвратить доступ к странице как для краулеров, так и для пользователей?.
• Используйте другой метод, например, защиту паролем
  Блокировка Googlebot влияет на поиск Google (включая Discover и все функции поиска Google), а также на другие продукты, такие как Google Картинки, Google Видео и Google Новости..

Проверка Googlebot

Прежде чем вы решите заблокировать Googlebot, знайте, что заголовок запроса HTTP

user-agent используемый Googlebot, часто подделывается другими краулерами. Важно убедиться, что проблемный запрос действительно исходит от Google. Лучший способ убедиться, что запрос действительно исходит от Googlebot, это использовать обратный DNS-поиск
по исходному IP-адресу запроса или сопоставить исходный IP-адрес с
диапазонами IP-адресов Googlebot
Googlebot | Alien Road.