Los robots pueden afirmar que son Yandex configurando el user agent. La verificación se realiza mediante búsqueda inversa de DNS, y vale la pena automatizar este procedimiento en el análisis de registros.
Los cuatro pasos
- Obtén la dirección IP de los registros del servidor.
- Realiza una búsqueda inversa de la IP para obtener un nombre de host.
- Confirma que el host termina en
yandex.ru,yandex.netoyandex.com. Cualquier otra terminación significa que no es Yandex. - Realiza una búsqueda directa del nombre de host y confirma que se resuelve de nuevo a la misma IP. Una discrepancia significa que el nombre de host es falso.
El cuarto paso es el que la gente se salta, y sin él la comprobación no demuestra nada. La herramienta de comprobación de direcciones IP de la consola hace el mismo trabajo para una sola dirección.
Por qué no se publican los rangos de IP
Los robots utilizan sistemas autónomos AS13238, AS208722 y AS212066 con direcciones que cambian frecuentemente, por lo que no se divulga ninguna lista. Por lo tanto, crear una lista blanca por IP no es una estrategia viable; el DNS inverso es el método compatible.
El detalle importante sobre la flota de robots
Muchos robots de Yandex obtienen documentos para fines distintos de la indexación, y varios de ellos ignoran robots.txt las reglas escritas para User-agent: *. Algunos ignoran el archivo por completo — YaDirectFetcher, varias YandexMetrika versiones. Para restringirlos, nómbralos explícitamente:
User-agent: YandexCalendar
Disallow: /
User-agent: YandexMobileBot
Disallow: /private/*.txt$La regla que resuelve una confusión común
Si uno de estos robots descarga un documento al que el principal robot de indexación no puede acceder, ese documento nunca se indexa y nunca aparece en la búsqueda. El tráfico en los registros procedente de un agente de Yandex no es evidencia de que una página se esté indexando; la flota es grande y la mayor parte no es el indexador.
Lectura de registros
Las cadenas de user agent incluyen una versión de navegador que cambia con el tiempo — YandexBot/3.0 aparece con una versión de Chrome adjunta. Coincide con el nombre del robot, nunca con la cadena completa, o los filtros de registros fallarán silenciosamente después de una actualización.
Cómo lo aplicamos
The forward-confirmation step is the one that matters: half the “Yandex is hammering our server” reports we have looked at were other crawlers wearing the name. It is also why we match log filters on the robot name rather than the full user agent — the Chrome version inside it changes, and rules written against the whole string quietly stop matching.
Servicios relacionados