Среда, 20 сентября 2006 г.

просила поисковые системы предоставить способ узнать, является ли бот подлинным. В конце концов, любой спамер может назвать своего бота «Googlebot» и заявлять, что он является Google, так каким ботам доверять, а каких блокировать?

Мы часто слышим просьбу опубликовать список IP-адресов Googlebot в каком-нибудь общедоступном месте. Проблема заключается в том, что если/когда диапазоны IP-адресов наших сканеров изменятся, не все догадаются проверить это. Фактически, команда сканирования мигрировала IP-адреса Googlebot пару лет назад, и это было настоящей головной болью — оповещать вебмастеров, которые жестко закодировали диапазон IP-адресов. Поэтому специалисты по сканированию предоставили другой способ аутентификации Googlebot. Вот ответ от одного из сотрудников команды сканирования (цитируется с их разрешения):
Предложение вебмастерам использовать DNS для проверки в каждом конкретном случае кажется лучшим выходом. Я думаю, рекомендуемой техникой было бы выполнить обратный поиск DNS, убедиться, что имя находится в домене googlebot.com, а затем выполнить соответствующий прямой поиск DNS->IP с использованием этого имени googlebot.com. Например: Я не думаю, что простого обратного поиска DNS недостаточно, так как злоумышленник может настроить обратный DNS так, чтобы он указывал на

crawl-a-b-c-d.googlebot.com

Этот ответ также был предоставлен в нашу службу поддержки, поэтому я бы счел его официальным способом аутентификации Googlebot. Чтобы осуществлять сканирование из «официального» диапазона IP-адресов Googlebot, бот должен уважать robots.txt и наши внутренние соглашения о нагрузке на хост, чтобы Google не сканировал ваш сайт слишком усердно.

(Спасибо Н. и Дж. за помощь с этим ответом со стороны команды сканирования.) Как подтвердить права на Googlebot | Alien Road.

Недавно я слышал, как пара умных людей просила поисковые системы предоставить способ узнать, является ли бот подлинным.

test