Rastreo en diciembre: CDN y rastreo

Martes, 24 de diciembre de 2024

Las redes de entrega de contenido (CDN) son especialmente adecuadas para disminuir la latencia de su sitio web y, en general, evitar dolores de cabeza relacionados con el tráfico web. Después de todo, este es su principal propósito: la entrega rápida de su contenido incluso si su sitio recibe mucho tráfico. El “D”
en CDN es para entregar o distribuir el contenido en todo el mundo, por lo que los tiempos de transferencia a sus usuarios también son menores que simplemente alojarlo en un centro de datos en algún lugar. En esta publicación vamos a explorar cómo hacer uso de las CDN de una manera que mejore el rastreo y la experiencia de los usuarios en su sitio, y también analizamos algunos matices del rastreo de sitios respaldados por CDN.

Resumen: ¿Qué es una CDN?

Las CDN son básicamente un intermediario entre su servidor de origen (donde vive su sitio web) y el usuario final, y sirven (algunos) archivos para ellos.
El enfoque principal de las CDN es el almacenamiento en caché, lo que significa que una vez que un usuario solicita una URL de su sitio, las CDN almacenarán el contenido de esa URL en sus cachés durante un tiempo para que su servidor no tenga que servir ese archivo nuevamente por un tiempo.

Las CDN pueden acelerar drásticamente su sitio al atender a los usuarios desde una ubicación cercana a ellos. Digamos que si un usuario en Australia accede a un sitio alojado en Alemania, una CDN atenderá a ese usuario desde sus cachés en Australia, reduciendo el viaje de ida y vuelta en todo el mundo. A la velocidad de la luz o no,
la distancia sigue siendo bastante grande.

Y finalmente,
Las CDN son una herramienta fantástica para proteger su sitio contra la sobrecarga y algunas amenazas de seguridad. Con la cantidad de tráfico global que administran las CDN, pueden construir modelos de tráfico confiables para detectar anomalías de tráfico y bloquear accesos que parezcan excesivos o maliciosos. Por ejemplo, el 21 de octubre de 2024,
Los sistemas de Cloudflare
detectó y mitigó autónomamente un 4.2
Tbps
(ed: eso es mucho) Ataque DDoS que duró alrededor de un minuto.

Cómo las CDN pueden ayudar a su sitio

Es posible que tenga los servidores más rápidos y el mejor enlace ascendente que el dinero pueda comprar y es posible que no crea que necesita acelerar nada, pero las CDN pueden ahorrarle dinero a largo plazo, especialmente si su sitio es grande:

• Almacenamiento en caché en la CDN: si los recursos como medios, JavaScript y CSS, o incluso su HTML se sirven desde las cachés de una CDN, sus servidores no tienen que gastar computación y ancho de banda en servir esos recursos, reduciendo la carga del servidor en el proceso. Esto generalmente también significa que las páginas se cargan más rápido en los navegadores de los usuarios, lo cual
  se correlaciona con mejores conversiones.
• Protección contra inundaciones de tráfico: las CDN son particularmente buenas para identificar y bloquear el tráfico excesivo o malicioso, permitiendo que sus usuarios visiten su sitio incluso cuando bots mal portados o personas mal intencionadas sobrecarguen sus servidores.
  Además de la protección contra inundaciones, los mismos controles que se usan para bloquear el tráfico malo también se pueden usar para bloquear el tráfico que simplemente no desea, ya sean ciertos rastreadores, clientes que encajan en un cierto patrón, o simplemente trolls que continúan usando la misma dirección IP. Si bien puede hacer esto en su servidor o firewall también, por lo general es mucho más fácil usar la interfaz de usuario de una CDN.
• Fiabilidad: Algunas CDN pueden servir su sitio a los usuarios incluso si su sitio está caído. Por supuesto, esto puede funcionar solo para contenido estático, pero eso ya puede ser suficiente para garantizar que no lleven sus negocios a otra parte.

En resumen, las CDN son sus amigas y si su sitio es grande o espera (¡o incluso ya recibe!) grandes cantidades de tráfico, es posible que desee encontrar uno que se adapte a sus necesidades en función de factores como precio, rendimiento, confiabilidad, seguridad, atención al cliente, escalabilidad, expansión futura. Consulte con su proveedor de alojamiento o CMS para conocer sus opciones (y si ya está usando una).

Cómo el rastreo afecta a los sitios con CDN

En el frente de rastreo, las CDN también pueden ser útiles, pero pueden causar algunos problemas de rastreo (aunque raramente). Quédese con nosotros.

Efecto de las CDN en la tasa de rastreo

Nuestra infraestructura de rastreo está diseñada para permitir tasas de rastreo más altas en sitios respaldados por una CDN, lo que se infiere de la dirección IP del servicio que sirve las URL a las que acceden nuestros rastreadores. Esto funciona bien, al menos la mayoría de las veces.

Digamos que hoy inicia un sitio de fotos de stock y resulta que tiene 1,000,007 imágenes en… stock. Lanza su sitio web con una página de destino, páginas de categoría y páginas de detalles para todas sus cosas, por lo que termina con una gran cantidad de páginas. Explicamos en nuestra documentación sobre
límite de capacidad de rastreo
que, si bien la Búsqueda de Google quisiera rastrear todas estas páginas lo más rápido posible, el rastreo tampoco debe abrumar a sus servidores. Si su servidor comienza a responder lentamente cuando se enfrenta a un número creciente de solicitudes de rastreo, se aplica la limitación en el lado de Google para evitar que su servidor se sobrecargue. El umbral para esta limitación es mucho más alto cuando nuestra infraestructura de rastreo detecta que su sitio está respaldado por una CDN, y asume que está bien enviar más solicitudes simultáneas porque lo más probable es que su servidor pueda manejarlo, rastreando así su tienda web más rápido.

Sin embargo, en el primer acceso a una URL, la caché de la CDN está “fría”, lo que significa que, dado que nadie ha solicitado esa URL todavía, su contenido aún no ha sido almacenado en caché por la CDN, por lo que su servidor de origen aún deberá servir esa URL al menos una vez para “calentar” la caché de la CDN. Esto es muy similar a
cómo funciona el almacenamiento en caché HTTP, también.

En resumen, incluso si tu tienda web cuenta con el respaldo de una CDN, tu servidor tendrá que servir esas 1.000.007 URLs al menos una vez. Solo después de esa primera entrega tu CDN podrá ayudarte con sus cachés. Esto supone una carga importante para tu “presupuesto de rastreo” y es probable que la tasa de rastreo sea alta durante unos días; tenlo en cuenta si planeas lanzar muchas URLs a la vez.

El efecto de las CDN en el renderizado

Como explicamos en nuestro primer
artículo de blog de diciembre sobre el rastreo de recursos, separar los recursos a su propio nombre de host o al de una CDN (cdn.example.com) puede permitir que nuestro Servicio de Renderizado Web (WRS) renderice tus páginas de manera más eficiente. Sin embargo, esto tiene una advertencia: esta práctica puede afectar negativamente al rendimiento de la página debido a la sobrecarga de una conexión a un nombre de host diferente, por lo que debes considerar cuidadosamente
la experiencia de página con el rendimiento de renderizado.

Si respaldas tu host principal con una CDN, evitas este problema: un solo nombre de host para consultar, y es probable que los recursos de renderizado críticos se sirvan desde la caché de la CDN para que tu servidor no tenga que servirlos (y sin impacto en la experiencia de página).

Al final, elige la solución que melhor funcione para tu negocio: tener un nombre de host separado (cdn.example.com) para recursos estáticos, respaldar tu nombre de host principal con una CDN o hacer ambas cosas. La infraestructura de rastreo de Google admite cualquiera de las dos opciones sin problemas.

Cuando las CDN son demasiado protectoras

Debido a la protección contra inundaciones de las CDN y a cómo los rastreadores, bueno, rastrean, en ocasiones los bots que sí quieres en tu sitio pueden terminar en la lista de bloqueos de tu CDN, típicamente en su Cortafuegos de Aplicaciones Web (WAF). Esto evita que los rastreadores accedan a tu sitio, lo que en última instancia puede evitar que tu sitio aparezca en los resultados de búsqueda. El bloqueo puede ocurrir de várias maneras, algunas más perjudiciales para la presencia de un sitio en los resultados de búsqueda de Google que otras, y puede ser difícil (o imposible) de controlar para ti, ya que ocurren en el extremo de la CDN. Para los efectos de este artículo de blog, los hemos dividido en dos categorías: bloqueos duros y bloqueos suaves.

Bloqueos duros

Los bloqueos duros ocurren cuando la CDN envía una respuesta a una solicitud de rastreo que es un error de alguna forma. Estos pueden ser:

• HTTP 503/429 códigos de estado: Enviar
  estos códigos de estado es la forma preferida
  para señalar un bloqueo temporal. Te dará algo de tiempo para reaccionar ante bloqueos no intencionados por parte de la CDN.
• Tiempo de espera de red: Los tiempos de espera de red de la CDN provocarán que las URLs afectadas se eliminen del índice de búsqueda de Google, ya que estos
  errores de red se consideran errores terminales y “duros”. Además, también pueden afectar considerablemente la tasa de rastreo de tu sitio porque indican a nuestra infraestructura de rastreo que el sitio está sobrecargado.
• Mensaje de error aleatorio con un HTTP 200 código de estado: También conocido como
  errores suaves, esto es particularmente malo. Si el extremo de Google equipara el mensaje de error con un error “duro” (por ejemplo, un HTTP 500), Google eliminará la URL de la Búsqueda. Si Google no pudo detectar los mensajes de error como errores “duros”, todas las páginas con el mismo mensaje de error pueden eliminarse como duplicadas del índice de búsqueda de Google. Dado que la indexación de Google tiene pocos incentivos para solicitar un nuevo rastreo de URLs duplicadas, recuperarse de esto puede llevar más tiempo.

Bloqueos suaves

Puede surgir un problema similar (juego de palabras muy intencionado) cuando tu CDN muestra esos intersticiales de “estás seguro de que eres humano”.

De hecho, nuestros rastreadores están convencidos de que NO son humanos y no fingen serlo. Solo quieren rastrear. Sin embargo, cuando aparece el intersticial, eso es todo lo que ven, no tu impresionante sitio. En el caso de estos intersticiales de verificación de bots, recomendamos encarecidamente enviar una señal clara en forma de código de estado HTTP 503 a los clientes automatizados, como los rastreadores, de que el contenido no está disponible temporalmente. Esto garantizará que el contenido no se elimine del índice de Google automáticamente.

Depuración de bloqueos

En el caso de bloqueos duros y suaves, la forma más fácil de comprobar si las cosas funcionan correctamente es utilizar
la herramienta de inspección de URLs en Search Console
y observar la imagen renderizada: si muestra tu página, vas por buen camino; si muestra una página vacía, un error o una página con un desafío de bot, es posible que quieras hablar con tu CDN al respecto.

Además, para ayudar con estos bloqueos no intencionados, Google, otros motores de búsqueda y otros operadores de rastreadores publican
nuestras direcciones IP para ayudarte a identificar nuestros rastreadores y, si lo consideras oportuno, eliminar las IP bloqueadas de las reglas del WAF o incluso incluirlas en una lista blanca. Dónde puedes hacer esto depende del CDN que estés utilizando; afortunadamente, la mayoría de los CDN y WAF independientes tienen una documentación fantástica. Aquí tienes algunas que pudimos encontrar con una pequeña búsqueda (a fecha de publicación de esta entrada):

• Cloudflare: https://developers.cloudflare.com/bots/get-started/free/#visibility
• Akamai: https://www.akamai.com/products/bot-manager
• Fastly: https://www.fastly.com/products/bot-management
• F5: https://clouddocs.f5.com/bigip-next/20-2-0/waf_management/waf_bot_protection.html
• Google Cloud: https://cloud.google.com/armor/docs/bot-management

Si necesitas que tu sitio aparezca en los motores de búsqueda, recomendamos encarecidamente comprobar si los rastreadores que te importan pueden acceder a tu sitio. Recuerda que las IP pueden acabar en una lista de bloqueo automáticamente, sin que te des cuenta, por lo que revisar las listas de bloqueo de vez en cuando es una buena idea para el éxito de tu sitio en las búsquedas y más allá. Si la lista de bloqueo es muy larga (no muy diferente a esta publicación de blog), intenta buscar solo los primeros segmentos de los rangos de IP, por ejemplo, en lugar de buscar 192.168.0.101 puedes simplemente buscar 192.168.

Esta fue la última publicación de nuestra
serie de publicaciones de blog Crawling December, esperamos que las hayas disfrutado tanto como nosotros disfrutamos escribiéndolas. Si tienes… bla, bla, bla… ya sabes cómo es.

Publicado por
Martin Splitt y
Gary Illyes

¿Quieres saber más sobre el rastreo? Echa un vistazo a toda la serie Crawling December: