Журнал изменений

На этой странице подробно описаны последние крупные обновления документации Google по сканированию.

Чтобы получать последние обновления документации по сканированию, добавьте URL этой страницы в свой агрегатор новостей (feed reader)или добавьте URL фида напрямую:
https://developers.google.com/crawling/docs/changelog/crawling_docs_updates.rss.

Июль 2026

22 июля

Руководство по бюджету сканирования доработано и уточнено

Что: Страница
Оптимизируйте свой бюджет сканирования была доработана и уточнена для повышения понятности, единообразия терминологии и легкости чтения.

Почему: Чтобы сделать документацию более понятной и обеспечить последовательное использование технических терминов (таких как лимит пропускной способности сканирования) во всем тексте.

16 июля

Обновление агента пользователя NotebookLM

Что: Агент пользователя NotebookLM обновлен до Google-GeminiNotebook. Если старое значение было жестко зашито в вашем коде, обновите строку во избежание потенциальных ошибок. Мы продолжим поддерживать старое значение для обеспечения плавного перехода.

Почему: NotebookLM теперь называется Gemini Notebook.

14 июля

Исправлена строка агента пользователя для Google-InspectionTool агент пользователя

Что: Обновлена строка агента пользователя
Google-InspectionTool
.

Почему: Строка агента пользователя для Google-InspectionTool ошибочно содержала точку с запятой, что не соответствовало реальной строке агента пользователя в рабочей среде. Теперь это исправлено в нашей документации.

Май 2026

4 мая

Добавление документации по Web Bot Auth

Что: Добавлена документация о том, как аутентифицировать запросы с помощью Web Bot Auth.

Зачем: Предоставить владельцам сайтов инструкции по проверке запросов с помощью Web Bot Auth на экспериментальном этапе, так как некоторые пользовательские агенты Google начинают использовать Web Bot Auth.

Март 2026

20 марта

Добавлен пользовательский агент Google-Agent

Что: Добавлен пользовательский агент Google-Agent и в документацию добавлены диапазоны IP-адресов для агентов, инициируемых пользователем, по проверке запросов от краулеров и фетчеров Google.

Зачем: Пользовательский агент Google-Agent внедряется в течение ближайших нескольких недель и будет использоваться агентами Google, размещенными на инфраструктуре Google, для навигации по сети и выполнения действий по запросу пользователя.

3 марта

Добавлена обзорная страница о веб-краулинге Google

Что: Добавлена новая страница о том, как работает краулинг Google.

Зачем: Основываясь на вопросах, которые мы получали с годами, мы создали ресурсную страницу с базовой обучающей информацией о краулинге, чтобы лучше выделить различные ресурсы по краулингу, доступные владельцам сайтов.

Февраль 2026

11 февраля

Обновлено расположение диапазонов IP-адресов Google для обычных краулеров, специальных краулеров и инициируемых пользователем фетчеров

Что: Обновлено расположение
диапазонов IP-адресов Google для обычных краулеров, специальных краулеров и инициируемых пользователем фетчеров
в каталог /crawling/ipranges . Старое расположение некоторое время продолжит работать, но мы рекомендуем обновить ссылки на новое расположение.

Зачем: Их предыдущее расположение в /search/apis/ipranges было не самым логичным местом, так как эти диапазоны IP-адресов используются многими продуктами Google (а не только Поиском).

3 февраля

Добавлена информация об ограничениях размера файлов по умолчанию для краулеров и фетчеров Google

Что: Информация об ограничениях размера файлов по умолчанию для краулеров и фетчеров Google перенесена из
Документация по Googlebot
в
документацию по краулингу.

Почему: Первоначальное расположение этой информации было не самым логичным, так как она относится ко всем краулерам и фетчерам Google, поэтому мы перенесли её в документацию по инфраструктуре краулинга.

Январь 2026

21 января

Google Messages добавлен в список фетчеров, инициируемых пользователем

Что: Добавлен фетчер Google Messages в список фетчеров, инициируемых пользователем.

Почему: Чтобы помочь владельцам сайтов идентифицировать трафик от Google Messages при создании предварительного просмотра ссылок для URL, отправленных в чате.

Декабрь 2025

18 декабря

Больше документации перенесено на сайт документации по краулингу Google

Что: Следующая документация была перенесена на
сайт инфраструктуры краулинга Google. Функциональность не изменилась, изменились только расположение документации и некоторые незначительные формулировки, чтобы уточнить, что некоторые рекомендации применимы как к Поиску Google, так и к другим продуктам Google.

• Управление краулингом URL с фасетной навигацией
• Оптимизируйте свой краулинговый бюджет
• Как коды состояния HTTP влияют на краулеры Google
• Отладка ошибок DNS и сети

Почему: Эта документация более актуальна для многих продуктов Google, которые используют краулеры Google, а не только для Поиска.

2 декабря

Обновлена страница пользовательского агента Google Read Aloud

Что: Обновлена
страница пользовательского агента Google Read Aloud
, чтобы предоставить дополнительные сведения о ее работе, в частности о том, что она использует бессостояние (stateless) рендеринг и должна обращаться к странице для просмотра используемых на ней метатегов.

Почему: Мы получили отзывы через сообщество помощи о том, что дополнительная информация будет полезной.

Ноябрь 2025

20 ноября

Документация перенесена на новый сайт документации по краулингу Google

Что: Документация по краулингу перенесена с
Google Search Central
на новый сайт документации по сканированию Google. Содержимое не изменилось,
изменилось только расположение. Среди заметных изменений:

• Обзор краулеров и фетчеров Google
• Проверка запросов от краулеров и фетчеров Google
• Уменьшение частоты сканирования Google
• Популярные краулеры Google
• Как Google интерпретирует спецификацию robots.txt

Почему: инфраструктура сканирования Google используется для различных продуктов Google помимо Поиска, включая Google Shopping, News, Gemini, AdSense и другие. Новый сайт является более логичным местом для этой документации и упрощает документирование новых функций и обновлений, актуальных для всех этих продуктов.

12 ноября

Добавлен Google-Pinpoint фетчер

Что: мы добавили
Google-Pinpoint
фетчер в список фетчеров, инициируемых пользователем.

Почему: Google-Pinpoint фетчер используется исследовательским инструментом Pinpoint.

3 ноября

Добавлен новый фетчер, инициируемый пользователем

Что: на основе отзывов мы добавили
Google-CWS
фетчер в список фетчеров, инициируемых пользователем.

Октябрь 2025

15 октября

Обновлен список продуктов Google, использующих сервис Read Aloud

Что: обновление документации по Google Read Aloud с актуализированным списком продуктов Google, использующих сервис Read Aloud.

Почему: другие продукты Google теперь могут использовать сервис Google Read Aloud.

9 октября

Добавлено Google-NotebookLM в список запускаемых пользователем сборщиков

Что: На основе отзывов мы добавили
Google-NotebookLM
в список запускаемых пользователем сборщиков.

Июль 2025

1 июля

Обновлен пользовательский агент Google Read Aloud

Что: Обновлен пользовательский агент Google Read Aloud
в HTTP-запросах с более новыми версиями браузеров.

Почему: Для поддержки сайтов, которые не поддерживают старые версии браузеров.

Апрель 2025

25 апреля

Обновлено описание токена продукта Google-Extended

Что: На основе отзывов издателей мы обновили Google-Extended
описание токена продукта для большей конкретики и ясности.

Исправлено описание настроек сканирования, адресованных Googlebot-News пользовательскому агенту

Что: Обновлено
Googlebot-News
описание пользовательского агента.

Почему: Описание того, как настройки сканирования, адресованные
Googlebot-News ошибочно утверждали, что они повлияют на вкладку «Новости» в Google, что не соответствует действительности.