Crawling infrastructureFeedfetcher
Feedfetcher es la forma en que Google obtiene los feeds de los sitios. Explora esta guía para aprender qué es…
Crawling infrastructure
Crawling infrastructureAgente de usuario de Google Read Aloud
Google-Read-Aloud es el agente de usuario para el servicio Google Read Aloud. Obtenga más información sobre cómo puede funcionar este…
Crawling infrastructureCómo interpreta Google la especificación de robots.txt
Conozca detalles específicos sobre las diferentes reglas del archivo robots.txt y cómo Google interpreta la especificación de robots.txt.
Crawling infrastructureCómo afectan los códigos de estado HTTP a los rastreadores de Google
Vea cómo los diferentes códigos de estado HTTP pueden afectar a los rastreadores de Google.
Crawling infrastructureCómo escribir y enviar un archivo robots.txt
Un archivo robots.txt reside en la raíz de su sitio. Aprenda a crear un archivo robots.txt, vea ejemplos y explore…
Crawling infrastructureLista de fetchers activados por usuarios de Google
Los fetchers activados por usuarios de Google realizan acciones en nombre de los usuarios. Esta descripción general le ayudará a…
Crawling infrastructureLista de los rastreadores comunes de Google
Los rastreadores de Google descubren y escanean sitios web. Esta descripción general le ayudará a comprender los rastreadores comunes de…
Crawling infrastructureLista de rastreadores de casos especiales de Google
Los rastreadores de casos especiales de Google son utilizados por productos específicos de Google en los que existe un acuerdo…
Crawling infrastructureGestión del rastreo de URLs de navegación por facetas
Aprenda qué es la navegación por facetas y cómo puede optimizar el rastreo de Google de un gran número de…
Crawling infrastructureOptimice su presupuesto de rastreo
Aprenda qué es el presupuesto de rastreo y cómo puede optimizar el rastreo de Google en sitios web grandes y…
Descripción general de los rastreadores y fetchers de Google (agentes de usuario)
Comprenda las propiedades técnicas de los rastreadores y fetchers de Google, incluidos los protocolos de transferencia compatibles, el almacenamiento en…
Crawling infrastructureReducir la tasa de rastreo de Google
Si la tasa de rastreo de Google sobrecarga su servidor, explore este documento para aprender cómo reducir la tasa de…
Cosas que debes saber sobre el rastreo web de Google
Aprende sobre cómo Google rastrea la web.
Crawling infrastructureActualice su archivo robots.txt
Con el informe de robots.txt, puede comprobar si Google puede procesar sus archivos robots.txt. Siga estos pasos para enviar archivos…
Crawling infrastructureVerificar solicitudes de los rastreadores y capturadores de Google
Puedes comprobar si un rastreador web es realmente Googlebot (u otro agente de usuario de Google). Sigue estos pasos para…