Crawling December: Как и почему Googlebot выполняет сканирование

Вторник, 3 декабря 2024 г.

Возможно, вы слышали, что перед тем как веб-страница появится в результатах Поиска Google, Поиску Google необходимо выполнить определенную работу. Один из этих этапов называется сканированием (crawling). Сканирование для Поиска Google выполняется Googlebot — программой, работающей на серверах Google, которая запрашивает URL-адрес и обрабатывает сетевые ошибки, перенаправления и другие мелкие проблемы, с которыми она может столкнуться при работе в сети. Но есть несколько деталей, о которых говорят нечасто. Каждую неделю в этом месяце мы будем рассматривать некоторые из таких нюансов, так как они могут оказать существенное влияние на то, как сканируются ваши сайты.

Вернемся немного назад: Что такое сканирование?

Сканирование — это процесс обнаружения новых и повторного посещения обновленных веб-страниц, а также их загрузки. Короче говоря, Googlebot получает URL-адрес, делает HTTP-запрос к хостящему его серверу, а затем обрабатывает ответ от этого сервера, возможно, следуя перенаправлениям, обрабатывая ошибки и передавая содержимое страницы в систему индексирования Google.

Но современные веб-страницы состоят не только из чистого HTML, так как же быть с другими ресурсами, составляющими страницу? Как сканирование этих ресурсов влияет на «бюджет сканирования»? Кэшируются ли эти ресурсы на стороне Google? И есть ли разница между URL-адресами, которые еще не сканировались, и теми, которые уже проиндексированы? В этой статье мы ответим на эти и многие другие вопросы!

Googlebot и сканирование ресурсов страницы

Помимо HTML, современные веб-сайты используют комбинацию различных технологий, таких как JavaScript и CSS, чтобы предоставить пользователям удобный интерфейс и полезный функционал. При доступе к таким страницам с помощью браузера браузер сначала загружает родительский URL-адрес, на котором размещены данные, необходимые для начала построения страницы для пользователя, — HTML страницы. Эти исходные данные могут содержать ссылки на такие ресурсы, как JavaScript и CSS, а также изображения и видео, которые браузер загрузит повторно, чтобы в конечном итоге сформировать финальную страницу, которая затем отображается пользователю.

Google делает то же самое, хотя и немного иначе:

1. Googlebot загружает исходные данные с родительского URL-адреса — HTML страницы.
2. Googlebot передает полученные данные в службу рендеринга сайтов (Web Rendering Service, WRS).
3. Используя Googlebot, WRS загружает ресурсы, указанные в исходных данных.
4. WRS строит страницу, используя все загруженные ресурсы, точно так же, как это делает браузер пользователя.

По сравнению с браузером время между каждым шагом может быть значительно больше из-за ограничений планирования, таких как воспринимаемая нагрузка сервера, хостящего ресурсы, необходимые для рендеринга страницы. И именно здесь
бюджет сканирования
вступает в разговор.

Сканирование ресурсов, необходимых для рендеринга страницы, будет расходовать бюджет сканирования хост-имени, на котором размещен ресурс. Чтобы улучшить это, WRS пытается кэшировать каждый ресурс (JavaScript и CSS), на который есть ссылки на страницах, подвергаемых рендерингу. Время жизни кэша WRS не зависит от директив кэширования HTTP; вместо этого WRS кэширует все на срок до 30 дней, что помогает сохранить бюджет сканирования сайта для других задач сканирования.

С точки зрения владельцев сайтов, управление тем, как и какие ресурсы сканируются, может повлиять на бюджет сканирования сайта; мы рекомендуем:

1. Используйте как можно меньше ресурсов , чтобы обеспечить пользователям отличный опыт; чем меньше ресурсов требуется для рендеринга страницы, тем меньше бюджета сканирования расходуется во время рендеринга.
2. Используйте параметры борьбы с кэшированием с осторожностью: если URL-адреса ресурсов изменяются, Google может потребоваться повторно просканировать ресурсы, даже если их содержимое не изменилось. Это, конечно же, приведет к исчерпанию бюджета сканирования.
3. Размещайте ресурсы на другом хост-имени , отличном от основного сайта, например используя CDN или просто размещая ресурсы на другом поддомене. Это перенесет заботы о бюджете сканирования на хост, который обслуживает ресурсы.

Все эти пункты применимы и к медиаресурсам. Если их запрашивает Googlebot (или, точнее,
Googlebot-Image и Googlebot-Video соответственно), это будет расходовать бюджет сканирования сайта.

Возникает искушение добавить в этот список и robots.txt , однако с точки зрения рендеринга запрет на сканирование ресурсов обычно приводит к проблемам. Если WRS не может получить критически важный для рендеринга ресурс, у Поиска Google могут возникнуть проблемы с извлечением содержимого страницы и обеспечением ее ранжирования в Поиске.

Что такое сканирование Googlebot?

Лучшим источником для анализа того, какие ресурсы сканирует Google, являются исходные журналы доступа (access logs) сайта, в которых есть запись для каждого URL-адреса, запрошенного как браузерами, так и сканерами. Чтобы идентифицировать сканеры Google в журнале доступа, мы публикуем наши
диапазоны IP-адресов в документации для разработчиков.

Вторым лучшим ресурсом является, конечно же,
отчет о статистике сканирования в Search Console, в котором каждый тип ресурсов разбит по сканерам:

Наконец, если вы действительно увлекаетесь сканированием и рендерингом и хотите пообщаться об этом с другими,
сообщество Search Central — это то, что вам нужно, но вы также можете найти нас на
LinkedIn.

Опубликовано
Martin Splitt и
Gary Illyes

Обновления

• Обновление от 6 декабря 2024 г.: Отмечено влияние на производительность при обслуживании ресурсов из другого источника.

Хотите узнать больше о сканировании? Ознакомьтесь со всей серией Crawling December: