Скоро Googlebot заговорит на HTTP/2

Четверг, 17 сентября 2020 г.

Начиная с ноября 2020 года Googlebot начнет сканировать некоторые сайты по протоколу HTTP/2.

С тех пор как популярные браузеры начали поддерживать следующую крупную версию HTTP,
HTTP/2 или сокращенно h2,
веб-специалисты спрашивали нас,

может ли Googlebot выполнять сканирование с использованием обновленной, более современной версии протокола.

Сегодня мы объявляем, что с середины ноября 2020 года Googlebot будет поддерживать сканирование по протоколу HTTP/2 для избранных сайтов.

Что такое HTTP/2 Как мы уже говорили, это следующаямажорная версия HTTP
— протокола, который Интернет в основном использует для передачи данных. HTTP/2 намного надежнее, эффективнее и быстрее своего предшественника благодаря своей архитектуре и функциям, которые он реализует для клиентов (например, вашего браузера) и серверов. Если вы хотите прочитать об этом подробнее, у нас есть большая статья на.

тему HTTP/2

Почему мы делаем это изменение

В целом, мы ожидаем, что это изменение сделает сканирование более эффективным с точки зрения использования ресурсов сервера. С h2 Googlebot может открыть одно TCP-соединение с сервером и эффективно передавать по нему несколько файлов параллельно, вместо того чтобы требовать несколько соединений. Чем меньше открытых соединений, тем меньше ресурсов сервер и Googlebot должны тратить на сканирование.

Как это работает

На первом этапе мы будем сканировать небольшое количество сайтов по h2 и постепенно увеличивать их количество за счет тех сайтов, которые могут извлечь выгоду из первоначально поддерживаемых функций, таких как мультиплексирование запросов.

Googlebot решает, какой сайт сканировать по h2, основываясь на том, поддерживает ли сайт h2 и выиграют ли сайт и Googlebot от сканирования по HTTP/2. Если ваш сервер поддерживает h2 и Googlebot уже активно сканирует ваш сайт, возможно, вы уже имеете право на обновление соединения, и вам не нужно ничего делать.

Если ваш сервер по-прежнему работает только с HTTP/1.1, это тоже нормально. Нет никаких явных недостатков сканирования по этому протоколу; сканирование останется прежним с точки зрения качества и количества.

Как отказаться Наши предварительные тесты не выявили никаких проблем или негативного влияния на индексирование, но мы понимаем, что по разным причинам вы можете захотеть исключить свой сайт из сканирования по HTTP/2. Вы можете сделать это, настроив сервер так, чтобы он возвращал код состояния HTTP 421
, когда Googlebot пытается сканировать ваш сайт по h2. Если это сейчас невозможно, вы можете
отправить сообщение команде Googlebot

(однако это временное решение).
Если у вас есть дополнительные вопросы о Googlebot и HTTP/2, ознакомьтесь свопросами, которые, как мы думали, вы можете задать . Если вы не нашли свой вопрос, напишите нам в Twitter
и на.

форумах помощи
Опубликовано: Цзинь Лян и

Гэри Илш

Вопросы, которые, как мы думали, вы можете задать

Почему вы обновляете Googlebot сейчас?

ПО, которое мы используем, чтобы позволить Googlebot сканировать по h2, достаточно созрело, чтобы его можно было использовать в рабочей среде.

Нужно ли мне срочно обновлять сервер?

Это полностью зависит от вас. Тем не менее, мы будем переключаться на сканирование по h2 только для тех сайтов, которые его поддерживают и явно выиграют от этого. Если от сканирования по h2 нет явной выгоды, Googlebot продолжит сканировать по h1.

Как проверить, поддерживает ли мой сайт h2? У Cloudflare

есть запись в блоге с множеством различных способов проверки поддержки h2 сайтом, обязательно ознакомьтесь!

Как обновить мой сайт до h2?

Это во многом зависит от вашего сервера. Мы рекомендуем проконсультироваться с системным администратором или хостинг-провайдером.

Как убедить Googlebot работать по h2 с моим сайтом?

Никак. Если сайт поддерживает h2, он имеет право на сканирование по h2, но только если это будет выгодно как сайту, так и Googlebot. Например, если сканирование по h2 не приведет к заметной экономии ресурсов, мы просто продолжим сканировать сайт по протоколу HTTP/1.1.

Почему вы не сканируете каждый сайт с поддержкой h2 по протоколу h2?

В ходе наших оценок мы обнаружили небольшую пользу или ее полное отсутствие для определенных сайтов (например, с очень низким QPS) при сканировании по h2. Поэтому мы решили переключать сканирование на h2 только тогда, когда это дает очевидную пользу для сайта. Мы продолжим оценивать прирост производительности и в будущем можем изменить наши критерии переключения.

Как узнать, сканируется ли мой сайт по h2?

Когда сайт становится доступным для сканирования по h2, владельцы этого сайта, зарегистрированные в Search Console, получат сообщение о том, что в дальнейшем часть трафика сканирования может идти по h2. Вы также можете проверить это в логах своего сервера (например, в файле access.log, если ваш сайт работает на Apache).

Какие функции h2 поддерживает Googlebot?

Googlebot поддерживает большинство функций, представленных в h2. Некоторые функции, такие как server push, которые могут быть полезны для рендеринга, все еще оцениваются.

Поддерживает ли Googlebot открытый текст HTTP/2 (h2c)?

Нет. Ваш сайт должен использовать HTTPS и поддерживать HTTP/2, чтобы иметь возможность сканирования по HTTP/2. Это аналогично тому, как с этим работают современные браузеры.

Будет ли Googlebot использовать расширение ALPN для выбора версии протокола для сканирования?

Согласование протокола на уровне приложения (ALPN) будет использоваться только для сайтов, которые подключили сканирование по h2, и единственным принимаемым протоколом для ответов будет h2. Если во время рукопожатия TLS сервер отвечает версией протокола, отличной от h2, Googlebot отступит и вернется позже по протоколу HTTP/1.1.

Как различные функции h2 помогут в сканировании?

• Среди множества, но самых заметных преимуществ h2 можно выделить следующие:Мультиплексирование и параллельность
• : Меньшее количество открытых TCP-соединений означает меньшее количество затрачиваемых ресурсов.Сжатие заголовков
• : Значительно уменьшенные размеры заголовков HTTP сэкономят ресурсы.Server push

: Эта функция еще не включена; она находится на стадии оценки. Она может быть полезна для рендеринга, но на данный момент нам нечего сказать о ней конкретно.
Если вы хотите узнать больше о конкретных функциях h2 и их связи со сканированием, спросите нас в.

Twitter

Будет ли Googlebot сканировать больше или быстрее по h2?

Основным преимуществом h2 является экономия ресурсов как на стороне сервера, так и на стороне Googlebot. То, используем ли мы для сканирования h1 или h2, не влияет на индексацию вашего сайта и, следовательно, не влияет на объем сканирования вашего сайта, который мы планируем.

Есть ли какое-либо преимущество в ранжировании для сайта при сканировании по h2?