Первое свидание с Googlebot: Заголовки и сжатие

Четверг, 6 марта 2008 г.

Имя/User-Agent: Googlebot
IP-адрес:
Узнайте, как проверить Googlebot
В поисках: Веб-сайты с уникальным и привлекательным контентом
Главный отталкивающий фактор: Нарушения
Рекомендации для вебмастеров
Googlebot — ну просто мечта. Кажется,
что они знают нас <head>, <body>, до мозга костей. Вероятно, они
не ищут ничего эксклюзивного; они видят миллиарды других сайтов (хотя мы делимся своими данными
и с другими ботами), но сегодня вечером мы действительно узнаем друг друга получше как веб-сайт и краулер.

Я знаю, никогда не стоит слишком глубоко анализировать первое свидание. Мы собираемся узнать Googlebot немного
позже, в серии публикаций:

1. Наше первое свидание (сегодня вечером!): Заголовки, отправляемые Googlebot, форматы файлов, которые он «замечает», стоит ли
   сжимать данные
2. Оценка их реакции: Коды ответа (301, 302), как они обрабатывают
   редиректы и If-Modified-Since
3. Дальнейшие действия: Переход по ссылкам, настройка более быстрой или медленной индексации (чтобы бот не проявлял
   слишком много настойчивости)

И сегодняшний вечер — это всего лишь первое свидание…

Googlebot: ACK

Веб-сайт: Googlebot, ты здесь!

Googlebot: Да.

Веб-сайт: Эти заголовки такие яркие! Стал бы ты сканировать с теми же заголовками, если бы мой сайт
находился в США, Азии или Европе? Используешь ли ты когда-нибудь другие заголовки?

Googlebot: Мои заголовки обычно одинаковы по всему миру. Я пытаюсь понять, как страница
выглядит для языка и настроек сайта по умолчанию. Иногда
User-Agent отличается, например, запросы AdSense используют
Mediapartners-Google:

Или для поиска картинок:

Запросы с мобильных устройств часто используют user-agent конкретного оператора связи, в то время как запросы RSS от Google Reader
включают дополнительную информацию, такую как количество подписчиков.

Я обычно избегаю файлов cookie (поэтому нет заголовка Cookie: ), так как я не хочу, чтобы на контент
слишком сильно влияла информация, специфичная для сеанса. И если сервер использует идентификатор сеанса в динамическом URL
вместо файла cookie, я обычно могу разобраться в этом, чтобы не сканировать
одну и ту же страницу миллион раз с миллионом разных идентификаторов сеансов.

Веб-сайт: Я очень сложный. У меня много типов файлов. Ваши заголовки говорят
Accept: */*. Индексируете ли вы все URL-адреса или определенные расширения файлов автоматически фильтруются?

Googlebot: Это зависит от того, что я ищу. Если я индексирую для обычного веб-поиска
и вижу ссылки на MP3 и видео, я, скорее всего, не буду их скачивать. Точно так же, если я вижу JPG, я
буду относиться к нему иначе, чем к HTML- или PDF-ссылке. Например, JPG гораздо реже
меняется по сравнению с HTML, поэтому я буду проверять JPG на наличие изменений реже, чтобы сэкономить полосу пропускания.
Между тем, если я ищу ссылки для Google Академии, меня будет гораздо больше интересовать
статья в формате PDF, а не файл JPG. Скачивание рисунков (вроде JPG) и видео с катающимися на скейтборде собаками
отвлекает ученого — вы согласны?

Website: Да, это может отвлекать. Я восхищаюсь вашей преданностью делу. Я люблю рисунки (JPG)
и мне трудно перед ними устоять.

Googlebot: Я тоже; я не всегда так академичен. Когда я сканирую для поиска картинок, меня очень
интересуют JPG. А для новостей я в основном смотрю на HTML и соседние изображения.

Существует также множество расширений (exe, dll, zip, dmg…), которые обычно имеют большой размер и менее полезны
для поисковой системы.

Веб-сайт: Если бы вы увидели мой URL, https://www.example.com/page1.LOL111, отклонили бы вы его
(хнык-хнык) просто потому, что он содержит неизвестное расширение файла?

Googlebot: Веб-сайт, позвольте мне дать немного больше контекста. После фактической загрузки файла
я использую заголовок Content-Type , чтобы проверить, действительно ли это HTML, изображение, текст или
что-то еще. Если это особый тип данных, такой как файл PDF, документ Word или электронная таблица Excel,
я убежусь, что он имеет допустимый формат, и извлеку текстовый контент. Возможно, там вирус;
кто знает. Если документ или тип данных сильно поврежден, обычно остается только
отбросить контент.

Итак, если я сканирую https://www.example.com/page1.LOL111 с неизвестным расширением файла,
скорее всего, я начну его загружать. Если я не могу определить тип контента
из заголовка или это формат, который мы не индексируем (например, mp3), он будет отложен в сторону.
В противном случае мы продолжаем индексацию файла.

Веб-сайт: Прошу прощения за то, что придираюсь к вашему стилю, Googlebot, но я заметил, что ваши заголовки
Accept-Encoding говорят:

Можете ли вы объяснить мне эти заголовки?

Googlebot: Конечно. Все основные поисковые системы и веб-браузеры поддерживают сжатие gzip для
контента в целях экономии пропускной способности. Другие записи, которые вы можете здесь увидеть, включают x-gzip (то
же, что и gzip), deflate (который мы также поддерживаем), и
identity (нет).

Веб-сайт: Не могли бы вы рассказать подробнее о сжатии файлов и
Accept-Encoding: gzip,deflate? Многие из моих URL-адресов состоят из больших Flash-файлов и потрясающих изображений, а не только из HTML. Поможет ли вам быстрее сканировать сайт, если я сжму свои файлы большего размера?

Googlebot: На этот вопрос нет простого ответа. Во-первых, многие форматы файлов, такие как swf (Flash), jpg, png, gif и pdf, уже сжаты (существуют также специализированные оптимизаторы Flash).

Веб-сайт: Может быть, я сжимал свои Flash-файлы и даже не знал об этом? Очевидно, я очень эффективен.

Googlebot: И Apache, и IIS имеют опции для включения сжатия gzip и deflate, хотя для экономии пропускной способности требуются определенные затраты ЦП. Как правило, оно включается только для легко сжимаемого текстового контента HTML/CSS/PHP. И оно используется только тогда, когда браузер пользователя или я (краулер поисковой системы) разрешаем это. Лично я предпочитаю gzip вместо deflate. Gzip — это чуть более надежное кодирование: в нем всегда есть контрольная сумма и полный заголовок, что оставляет мне меньше места для догадок, чем deflate. В остальном это очень похожие алгоритмы сжатия.

Если у вас на серверах есть свободные мощности ЦП, возможно, стоит поэкспериментировать со сжатием (ссылки:
Apache,
IIS). Но если вы обслуживаете динамический контент и ваши серверы уже сильно загружены ЦП, возможно, вам стоит повременить.

Веб-сайт: Отличная информация. Я очень рад, что вы пришли сегодня вечером — слава богу, мой
robots.txt позволил это. Этот файл может быть похож на излишне заботливого родителя!

Googlebot: О да; знакомство с родителями, файл robots.txt. Я встречал множество суровых вариантов. Некоторые из них на самом деле являются просто страницами ошибок HTML, а не действующими robots.txt. У некоторых бесконечные перенаправления повсюду, возможно, на совершенно не связанные сайты, в то время как другие просто огромны и содержат тысячи различных URL-адресов, перечисленных по отдельности. Вот один неудачный шаблон. Обычно сайт очень хочет, чтобы я его просканировал:

Затем, во время пиковой нагрузки с высоким пользовательским трафиком, сайт меняет robots.txt на что-то ограничительное:

Проблема с вышеуказанной заменой файла robots.txt заключается в том, что, как только я вижу ограничительный robots.txt, мне, возможно, придется начать удалять контент, который я уже просканировал в индексе. И тогда мне придется заново сканировать большой объем контента, как только мне снова разрешат сканировать сайт. По крайней мере, код ответа 503 был бы временным.

Я обычно перепроверяю robots.txt только раз в день (иначе на многих сайтах виртуального хостинга я бы тратил большую часть своих запросов просто на получение robots.txt, и ни одно свидание не хочет «знакомиться с родителями» так часто). Для веб-мастеров попытка управлять скоростью сканирования путем замены robots.txt обычно дает обратный результат. Лучше
установить скорость на «медленнее»
в Webmaster Tools.

Googlebot: Веб-сайт, спасибо за все твои вопросы, ты была великолепна, но я вынужден сказать: «КОНЕЦ, моя любовь».

Веб-сайт: О, Googlebot… ACK/FIN.
🙂

Автор Maile Ohye в роли веб-сайта, Jeremy Lilley в роли Googlebot