Crawling infrastructureUser-agent APIs-Google
APIs-Google — это user-agent, используемый API Google для доставки push-уведомлений. Изучите это руководство, чтобы узнать, как APIs-Google взаимодействует с вашим…
Crawling infrastructure
Crawling infrastructureАутентификация запросов с помощью Web Bot Auth (экспериментальная функция)
Узнайте, что такое Web Bot Auth, каков текущий статус реализации Google и как вы можете внедрить проверку на экспериментальном этапе…
Crawling infrastructureЖурнал изменений
Отслеживайте основные обновления в документации Google по сканированию, включая изменения в списке агентов пользователя (user agents), краулеров и инструментов выборки,…
Crawling infrastructureУстранение сетевых ошибок и ошибок DNS для поисковых роботов Google
Узнайте, как различные сетевые ошибки и ошибки DNS могут повлиять на поисковых роботов Google и как их устранять.
Crawling infrastructureFeedfetcher
Feedfetcher — это способ, которым Google получает ленты сайтов. Изучите это руководство, чтобы узнать, что такое Google Feedfetcher и как…
Crawling infrastructureПользовательский агент Google Read Aloud
Google-Read-Aloud — это пользовательский агент для сервиса Google Read Aloud. Узнайте больше о том, как этот сервис может работать для…
Crawling infrastructureКак Google интерпретирует спецификацию robots.txt
Узнайте конкретные детали о различных правилах файла robots.txt и о том, как Google интерпретирует спецификацию robots.txt.
Crawling infrastructureКак коды состояния HTTP влияют на краулеры Google
Узнайте, как различные коды состояния HTTP могут влиять на краулеры Google.
Crawling infrastructureКак написать и отправить файл robots.txt
Файл robots.txt находится в корне вашего сайта. Узнайте, как создать файл robots.txt, посмотрите примеры и изучите правила robots.txt.
Crawling infrastructureСписок fetcher-ов, запускаемых пользователями Google
Fetcher-ы, запускаемые пользователями Google, выполняют действия от имени пользователей. Этот обзор поможет вам понять, какие fetcher-ы, запускаемые пользователями, использует Google.
Crawling infrastructureСписок распространенных краулеров Google
Краулеры Google обнаруживают и сканируют веб-сайты. Этот обзор поможет вам понять распространенные краулеры Google, включая пользовательский агент Googlebot.
Crawling infrastructureСписок специальных краулеров Google
Специальные краулеры Google используются определенными продуктами Google, когда между сканируемым сайтом и продуктом существует соглашение о процессе сканирования. Этот обзор…
Crawling infrastructureУправление сканированием URL-адресов с фасетной навигацией
Узнайте, что такое фасетная навигация и как можно оптимизировать сканирование Google большого количества URL-адресов с фасетной навигацией.
Crawling infrastructureОптимизируйте свой бюджет сканирования
Узнайте, что такое бюджет сканирования и как можно оптимизировать сканирование Google больших и часто обновляемых веб-сайтов.
Обзор краулеров и фетчеров Google (пользовательских агентов)
Изучите технические свойства краулеров и фетчеров Google, включая поддерживаемые протоколы передачи, кэширование и ограничения размера файлов.
Crawling infrastructureУменьшить скорость сканирования Google
Если скорость сканирования Google перегружает ваш сервер, изучите этот документ, чтобы узнать, как уменьшить скорость сканирования Google и остановить ботов…
Что нужно знать о сканировании сайтов Google
Узнайте, как Google сканирует веб.
Crawling infrastructureОбновите файл robots.txt
С помощью отчета robots.txt вы можете проверить, может ли Google обрабатывать ваши файлы robots.txt. Выполните следующие действия, чтобы отправить обновленные…
Crawling infrastructureПроверка запросов от сканеров и сборщиков Google
Вы можете проверить, является ли веб-краулер на самом деле Googlebot (или другим пользовательским агентом Google). Выполните следующие действия, чтобы убедиться,…