Feedfetcher

Feedfetcher es la forma en que Google rastrea los feeds RSS o Atom para
Google News
y WebSub. Feedfetcher almacena y actualiza periódicamente los feeds que solicitan los usuarios de una aplicación o servicio. Solo los feeds de podcasts se indexan en la Búsqueda de Google; sin embargo, si un feed no sigue la especificación
Atom o
RSS , es posible que aún se indexe. Aquí tienes algunas respuestas a las preguntas más frecuentes sobre cómo funciona este capturador de feeds controlado por el usuario.

¿Cómo solicito que Google no recupere algunos o todos los feeds de mi sitio?

Cuando los usuarios añaden un servicio o aplicación que utiliza datos de Feedfetcher, el Feedfetcher de Google intenta obtener el contenido del feed para mostrarlo. Dado que las solicitudes de Feedfetcher provienen de acciones explícitas de usuarios humanos y no de rastreadores automatizados, Feedfetcher ignora las reglas de robots.txt.

Si tu feed está disponible públicamente, Google no puede restringir el acceso de los usuarios a él. Una solución es configurar tu sitio para que sirva un 404, 410, u otro mensaje de estado de error al Feedfetcher-Google agente de usuario.

Si tu feed es proporcionado por un servicio de alojamiento de blogs o sitios, trabaja directamente con ese servicio para restringir el acceso a tu feed.

¿Con qué frecuencia recuperará Feedfetcher mis feeds?

Feedfetcher no debería recuperar feeds de la mayoría de los sitios más de una vez por hora en promedio. Algunos sitios actualizados con frecuencia pueden actualizarse con más frecuencia. Ten en cuenta, sin embargo, que debido a retrasos en la red, es posible que Feedfetcher parezca recuperar tus feeds con más frecuencia brevemente.

¿Por qué Feedfetcher intenta descargar enlaces incorrectos de mi servidor, o de un dominio que no existe?

Feedfetcher recupera feeds a petición de servicios o aplicaciones instalados por los usuarios. Es posible que un usuario haya solicitado una URL de feed que no existe.

¿Por qué Feedfetcher descarga información de mi servidor web “secreto”?

Feedfetcher recupera feeds a petición de servicios o aplicaciones instalados por los usuarios. Es posible que la solicitud provenga de un usuario que conoce tu servidor “secreto” o que lo haya escrito por error.

¿Por qué Feedfetcher no obedece mi archivo robots.txt?

Feedfetcher recupera feeds solo después de que los usuarios hayan iniciado explícitamente un servicio o aplicación que solicita datos del feed. Feedfetcher se comporta como un agente directo del usuario humano, no como un robot, por lo que ignora las entradas de robots.txt. Dado que Feedfetcher actúa como agente para múltiples usuarios, ahorra ancho de banda realizando solicitudes de feeds comunes solo una vez para todos los usuarios que solicitaron el feed a través de una aplicación o servicio. Los feeds comunes son
RSS y
Atom.

Puedes evitar que Feedfetcher rastree tu sitio configurando tu servidor para que sirva un
404, 410, u otro mensaje de estado de error al
Feedfetcher-Google agente de usuario.

¿Por qué hay visitas desde múltiples máquinas en Google.com, todas con el agente de usuario Feedfetcher?

Feedfetcher fue diseñado para distribuirse en varias máquinas para mejorar el rendimiento y escalar a medida que crece la web. Para reducir el uso de ancho de banda, las máquinas utilizadas a menudo se encuentran cerca de los sitios que están recuperando en la red.

¿Pueden decirme las direcciones IP desde las que Feedfetcher realiza solicitudes para que pueda filtrar mis registros?

Las direcciones IP utilizadas por Feedfetcher se incluyen en el objeto
user-triggered-fetchers-google.json
.

¿Por qué Feedfetcher descarga la misma página de mi sitio varias veces?

En general, Feedfetcher solo descarga una copia de cada archivo de tu sitio durante una recuperación de feed determinada. Muy ocasionalmente, las máquinas se detienen y reinician, lo que puede causar que vuelva a recuperar páginas que ha visitado recientemente.

¿Qué tipo de enlaces rastrea Feedfetcher?

A diferencia de los rastreadores web normales, Feedfetcher no descubre enlaces para rastrear en absoluto; en cambio, rastrea una única URL que le proporcionan los usuarios de un servicio o aplicación que utiliza Feedfetcher.

Mi pregunta sobre Feedfetcher no se responde aquí. ¿Dónde puedo obtener más ayuda?

Si todavía tienes problemas, intenta publicar tu pregunta en el
foro.