{"id":28512,"date":"2026-09-08T21:56:08","date_gmt":"2026-09-08T18:56:08","guid":{"rendered":"https:\/\/alienroad.com\/yandex-bilgi-bankasi\/the-crawl-delay-directive\/"},"modified":"2026-09-09T02:34:34","modified_gmt":"2026-09-08T23:34:34","slug":"the-crawl-delay-directive","status":"publish","type":"ar_ykb","link":"https:\/\/alienroad.com\/yandex-bilgi-bankasi\/the-crawl-delay-directive\/","title":{"rendered":"La directiva Crawl-delay"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\"><strong><code>Crawl-delay<\/code> ha sido ignorado por Yandex desde el 22 de febrero de 2018.<\/strong> Cualquier sitio que a\u00fan mantenga esta directiva contiene una l\u00ednea que no realiza ninguna funci\u00f3n.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Qu\u00e9 lo reemplaz\u00f3<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">La <strong>configuraci\u00f3n de tasa de rastreo<\/strong> (crawl rate) en Yandex Webmaster, bajo Indexing \u2192 Crawl rate. Por defecto es autom\u00e1tica, calculada para cargar tantas p\u00e1ginas como sea posible sin sobrecargar el servidor, y puede configurarse manualmente por sitio \u2014 <em>incluso de forma independiente para cada subdominio<\/em>.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Por qu\u00e9 el cambio es una mejora<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Una directiva de archivo es est\u00e1tica y ciega: aplica el mismo retraso tanto si el servidor est\u00e1 inactivo como si est\u00e1 saturado, y ralentiza al robot incluso cuando hay capacidad de sobra. La configuraci\u00f3n de la consola es una recomendaci\u00f3n que Yandex pondera frente a lo que sabe sobre el sitio, y el modo autom\u00e1tico se adapta.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Antes de recurrir a ello<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Aqu\u00ed se aplica la gu\u00eda de Yandex sobre la tasa de rastreo: averig\u00fce qu\u00e9 est\u00e1 solicitando realmente el robot antes de ralentizarlo. Si la carga proviene de combinaciones de filtros, URLs de sesi\u00f3n y resultados de b\u00fasqueda interna \u2014como suele ocurrir\u2014, el remedio correcto es <code>Disallow<\/code> o <code>Clean-param<\/code>, lo cual elimina las solicitudes innecesarias y devuelve el presupuesto de rastreo a las p\u00e1ginas reales. Reducir la tasa mantiene el desperdicio y ralentiza todo lo dem\u00e1s junto con \u00e9l.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Mantenimiento<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Elimine <code>Crawl-delay<\/code> de su <code>robots.txt<\/code> la pr\u00f3xima vez que lo edite. No tiene efecto en Yandex, otros rastreadores a\u00fan lo respetan, y dejarlo ah\u00ed sugiere que existe un control de tasa donde no lo hay \u2014que es exactamente el tipo de suposici\u00f3n que sobrevive a la persona que escribi\u00f3 el archivo.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">D\u00f3nde sigue existiendo un l\u00edmite real<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Si el tr\u00e1fico de robots es un problema operativo real, la configuraci\u00f3n de la consola es el \u00fanico control frente a Yandex, y debe configurarse para el dominio principal y cada subdominio por separado. Una tasa establecida en el dominio principal no afecta al subdominio que realmente est\u00e1 bajo carga.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Crawl-delay ha sido ignorado por Yandex desde el 22 de febrero de 2018. Cualquier sitio que a\u00fan mantenga esta directiva contiene una l\u00ednea que no realiza ninguna funci\u00f3n. Qu\u00e9 lo reemplaz\u00f3 La configuraci\u00f3n de tasa de rastreo (crawl rate) en Yandex Webmaster, bajo Indexing \u2192 Crawl rate. Por defecto es autom\u00e1tica, calculada para cargar tantas [&hellip;]<\/p>\n","protected":false},"menu_order":88,"template":"","meta":{"footnotes":""},"ar_ykb_kategori":[765],"ar_ykb_etiket":[],"class_list":["post-28512","ar_ykb","type-ar_ykb","status-publish","has-post-thumbnail","hentry","ar_ykb_kategori-robots-txt"],"_links":{"self":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_ykb\/28512","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_ykb"}],"about":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/types\/ar_ykb"}],"version-history":[{"count":2,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_ykb\/28512\/revisions"}],"predecessor-version":[{"id":29119,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_ykb\/28512\/revisions\/29119"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/media\/28894"}],"wp:attachment":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/media?parent=28512"}],"wp:term":[{"taxonomy":"ar_ykb_kategori","embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_ykb_kategori?post=28512"},{"taxonomy":"ar_ykb_etiket","embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_ykb_etiket?post=28512"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}