Feedfetcher

Feedfetcher — это способ, которым Google сканирует ленты RSS или Atom для
Google News
и WebSub. Feedfetcher хранит и периодически обновляет ленты, запрашиваемые пользователями приложения или службы. В поиске Google индексируются только ленты подкастов; однако, если лента не соответствует спецификации
Atom или
RSS , она все равно может быть проиндексирована. Вот некоторые ответы на наиболее часто задаваемые вопросы о том, как работает этот управляемый пользователем сборщик лент.

Как мне запросить, чтобы Google не извлекал некоторые или все ленты моего сайта?

Когда пользователи добавляют службу или приложение, использующее данные Feedfetcher, Google Feedfetcher пытается получить содержимое ленты для его отображения. Поскольку запросы Feedfetcher исходят от явных действий пользователей-людей, а не от автоматизированных роботов, Feedfetcher игнорирует правила robots.txt.

Если ваша лента общедоступна, Google не может ограничить доступ пользователей к ней. Одно из решений — настроить ваш сайт на выдачу 404, 410, или другого сообщения об ошибке для Feedfetcher-Google агента пользователя.

Если ваша лента предоставляется службой хостинга блогов или сайтов, работайте напрямую с этой службой, чтобы ограничить доступ к вашей ленте.

Как часто Feedfetcher будет извлекать мои ленты?

Feedfetcher не должен извлекать ленты с большинства сайтов чаще, чем в среднем раз в час. Некоторые часто обновляемые сайты могут обновляться чаще. Обратите внимание, однако, что из-за сетевых задержек может показаться, что Feedfetcher извлекает ваши ленты чаще.

Почему Feedfetcher пытается загрузить неправильные ссылки с моего сервера или с домена, которого не существует?

Feedfetcher извлекает ленты по запросу служб или приложений, установленных пользователями. Возможно, пользователь запросил URL ленты, которого не существует.

Почему Feedfetcher загружает информацию с моего «секретного» веб-сервера?

Feedfetcher извлекает ленты по запросу служб или приложений, установленных пользователями. Возможно, запрос поступил от пользователя, который знает о вашем «секретном» сервере или ввел его по ошибке.

Почему Feedfetcher не соблюдает мой файл robots.txt?

Feedfetcher извлекает ленты только после того, как пользователи явно запустили службу или приложение, запрашивающее данные из ленты. Feedfetcher ведет себя как прямой агент пользователя-человека, а не как робот, поэтому он игнорирует записи robots.txt. Поскольку Feedfetcher действует как агент для нескольких пользователей, он экономит пропускную способность, делая запросы на общие ленты только один раз для всех пользователей, запросивших ленту через приложение или службу. Общие ленты — это
RSS и
Atom.

Вы можете предотвратить сканирование вашего сайта с помощью Feedfetcher, настроив ваш сервер на выдачу
404, 410, или другого сообщения об ошибке для
Feedfetcher-Google агента пользователя.

Почему есть посещения с нескольких машин на Google.com, все с агентом пользователя Feedfetcher?

Feedfetcher был разработан для распределения по нескольким машинам для повышения производительности и масштабирования по мере роста сети. Чтобы сократить использование пропускной способности, используемые машины часто располагаются рядом с сайтами, которые они извлекают в сети.

Можете ли вы сообщить мне IP-адреса, с которых Feedfetcher делает запросы, чтобы я мог фильтровать свои журналы?

IP-адреса, используемые Feedfetcher, включены в объект
user-triggered-fetchers-google.json
.

Почему Feedfetcher загружает одну и ту же страницу на моем сайте несколько раз?

В целом, Feedfetcher загружает только одну копию каждого файла с вашего сайта во время конкретного извлечения ленты. Очень редко машины останавливаются и перезапускаются, что может привести к тому, что он снова извлечет страницы, которые недавно посещал.

Какие типы ссылок сканирует Feedfetcher?

В отличие от обычных веб-краулеров, Feedfetcher вообще не обнаруживает ссылки для сканирования; вместо этого он сканирует один URL, предоставленный ему пользователями службы или приложения, использующего Feedfetcher.

Мой вопрос о Feedfetcher здесь не освещен. Где я могу получить больше помощи?

Если у вас все еще возникают проблемы, попробуйте опубликовать свой вопрос на
форуме.