Robots.txtAjuste de la directiva Crawl-delay mediante la comprobación de respuesta del servidor
Aprenda a gestionar la carga del servidor utilizando directivas de crawl-delay y respuestas de servidor adecuadas basadas en la orientación…
Robots.txt
Robots.txtCombinación de la directiva Clean-param y Disallow para parámetros de URL
La directiva clean-param consolida las señales de clasificación para URL parametrizadas. Aprenda cuándo usarla junto con las reglas de disallow…
Errores comunes de análisis de Robots.txt en Yandex Webmaster
Los errores de análisis de Robots.txt ocurren cuando los errores de sintaxis obstaculizan al rastreador de Yandex. Esta guía explica…
Robots.txtGestión de directivas robots.txt para versiones multilingües de sitios web
La gestión de la indexación de contenido localizado requiere reglas específicas en robots.txt. Aprenda hoy cómo guiar a los rastreadores…
Robots.txtCómo excluir correctamente las páginas de resultados de búsqueda en robots.txt
Evite que los resultados de búsqueda internos y las URLs de bajo valor entren en los índices de búsqueda mediante…
Robots.txtImpacto de Robots.txt en el presupuesto de rastreo y la eficiencia de…
Comprenda cómo se rigen los límites de tasa de rastreo mediante robots.txt y cómo optimizar su asignación de recursos para…
Optimización del archivo Robots.txt para la indexación de grandes sitios de comercio…
Aprenda a optimizar su archivo robots.txt para grandes sitios de comercio electrónico con el fin de mejorar la indexación del…
Prevención de la indexación de entornos de ensayo y desarrollo
Aprenda a prohibir la indexación de búsqueda para sitios web de ensayo y entornos de desarrollo utilizando métodos de configuración…
Robots.txtProhíba la indexación de scripts confidenciales para evitar actividades fraudulentas
Aprenda cómo prohibir la indexación de scripts confidenciales en sus archivos de exclusión del servidor para prevenir actividades fraudulentas y…
Robots.txtResolución de conflictos entre robots.txt y URL canónicas
Aprenda a alinear sus directivas de robots.txt con la configuración de URL canónicas. Asegúrese de que los motores de búsqueda…
Uso del análisis de Robots.txt para probar reglas de Disallow en sitios…
Aprenda cómo el análisis de robots.txt ayuda a probar las reglas de Disallow para sitios AJAX, mejorar la eficiencia del…
Robots.txtUso de robots.txt
robots.txt establece los parámetros de rastreo para los robots de búsqueda. Restringir secciones reduce la carga del servidor y acelera…
Robots.txtLa directiva User-agent
El robot busca registros que comiencen con User-agent: y coincide con la subcadena Yandex (sin distinguir entre mayúsculas y minúsculas)…
Directivas Disallow y Allow
Disallow impide el rastreo de secciones o páginas; Allow lo permite. Yandex enumera lo que se encuentra detrás de Disallow:…
Robots.txtLa directiva Sitemap
El Sitemap la directiva declara dónde se encuentra el sitemap. Se pueden enumerar varios, uno por línea: User-agent: Yandex Allow:…
La directiva Crawl-delay
Crawl-delay ha sido ignorada por Yandex desde el 22 de febrero de 2018. Cualquier sitio que aún mantenga la directiva…
Robots.txtLa directiva Clean-param
Clean-param es una extensión de Yandex sin equivalente en otros lugares: le indica al robot qué parámetros de URL no…
Robots.txtCómo comprobar si un robot pertenece a Yandex
Los robots pueden afirmar que son Yandex configurando el user agent. La verificación se realiza mediante búsqueda inversa de DNS,…
Robots.txt¿Cómo reduzco la carga en el sitio o servidor?
El robot planifica sus propias visitas y ajusta la carga automáticamente. Las solicitudes pueden dispararse cuando descubre una nueva sección,…