Robots.txtUso de robots.txt
robots.txt establece los parámetros de rastreo para los robots de búsqueda. Restringir secciones reduce la carga del servidor y acelera…
Robots.txt
Robots.txtLa directiva User-agent
El robot busca registros que comiencen con User-agent: y coincide con la subcadena Yandex (sin distinguir entre mayúsculas y minúsculas)…
Directivas Disallow y Allow
Disallow impide el rastreo de secciones o páginas; Allow lo permite. Yandex enumera lo que se encuentra detrás de Disallow:…
Robots.txtLa directiva Sitemap
El Sitemap la directiva declara dónde se encuentra el sitemap. Se pueden enumerar varios, uno por línea: User-agent: Yandex Allow:…
La directiva Crawl-delay
Crawl-delay ha sido ignorada por Yandex desde el 22 de febrero de 2018. Cualquier sitio que aún mantenga la directiva…
Robots.txtLa directiva Clean-param
Clean-param es una extensión de Yandex sin equivalente en otros lugares: le indica al robot qué parámetros de URL no…
Robots.txtCómo comprobar si un robot pertenece a Yandex
Los robots pueden afirmar que son Yandex configurando el user agent. La verificación se realiza mediante búsqueda inversa de DNS,…
Robots.txt¿Cómo reduzco la carga en el sitio o servidor?
El robot planifica sus propias visitas y ajusta la carga automáticamente. Las solicitudes pueden dispararse cuando descubre una nueva sección,…