La comprobación de páginas analiza, para una URL específica, qué recibe el robot y qué ha decidido Yandex al respecto. Es la herramienta que pone fin a la mayoría de las discusiones, ya que sustituye el “la página se ve bien” por la respuesta real.
Qué reporta
- El código de respuesta que recibe el bot. Cualquier resultado distinto a
200 OKpuede provocar que la página sea excluida. - Cómo ve el contenido el bot: la comprobación decisiva para cualquier elemento renderizado en el lado del cliente.
- Estado de la página: incluida en la búsqueda, excluida y el motivo.
- Adaptación móvil para esa página.
Elegir el bot
La comprobación puede ejecutarse como diferentes robots de Yandex, mostrando el agente de usuario seleccionado debajo del campo. Esto es más importante de lo que parece: un filtro de bot o una regla de CDN que permita al robot de indexación principal pero bloquee al móvil genera un sitio que se indexa normalmente pero falla en todas las evaluaciones móviles. Probar un solo agente y asumir que el resto funciona igual es la razón por la que esto pasa desapercibido durante meses.
La prueba If-Modified-Since
Un campo que pocos utilizan y que los sitios grandes deberían aprovechar. Introduzca una fecha y compruebe cómo gestiona el servidor las peticiones condicionales:
- Si introduce la fecha real de última modificación de la página, la respuesta debería ser
200 OK. - Si introduce una fecha distinta, la respuesta debería ser
304 Not Modified.
Un servidor que responde con 200 y el cuerpo completo a cada petición condicional obliga al robot a volver a descargar páginas sin cambios, lo que consume una capacidad de rastreo que las páginas nuevas o actualizadas necesitan. En un catálogo grande, esta es una de las pocas palancas reales de presupuesto de rastreo que está totalmente bajo su control.
Renderizado de JavaScript
Una herramienta beta independiente, Indexing → JavaScript page rendering, comprueba las páginas cuyo contenido depende de scripts. Mientras que la comprobación de página ordinaria muestra lo que recibió el robot, esta muestra lo que sobrevive al renderizado; y la brecha entre ambos es exactamente donde residen las discusiones de “el contenido está ahí mismo en mi navegador”.
Hábito de trabajo
Ejecute esto en la URL exacta en disputa, no en la página de inicio, y antes de declarar que algo se ha solucionado en el diagnóstico del sitio: una afirmación prematura de corrección cuesta una espera de 30 días.
Cómo lo aplicamos
This is the tool we open first on almost every technical question, and the If-Modified-Since test is the one clients have never run. On one catalogue site the server answered 200 to every conditional request; fixing that returned a large share of the crawl budget to pages that had been waiting weeks to be re-read. The bot selector is the other habit worth forming — always repeat the check as the mobile robot.
Servicios relacionados