Crawling infrastructure

Gestión del rastreo de URLs de navegación por facetas

La navegación por facetas es una función común de los sitios web que permite a sus visitantes cambiar la forma en que se muestran los elementos (por ejemplo, productos, artículos o eventos) en una página. Es una función popular y útil, sin embargo, su implementación más común, que se basa en parámetros de URL, puede generar espacios de URL infinitos que dañan el sitio web de un par de maneras:

  • Rastreo excesivo: Debido a que las URLs creadas para la navegación por facetas parecen ser novedosas y los rastreadores no pueden determinar si las URLs serán útiles sin rastrearlas primero, los rastreadores normalmente accederán a un número muy grande de URLs de navegación por facetas antes de que los procesos de los rastreadores determinen que las URLs son, de hecho, inútiles.
  • Rastreo de descubrimiento más lento: Derivado del punto anterior, si el rastreo se gasta en URLs inútiles, los rastreadores tienen menos tiempo para dedicar a URLs nuevas y útiles.

Una URL de navegación por facetas típica puede contener varios parámetros en la cadena de consulta relacionados con las propiedades de los elementos que filtran. Por ejemplo:

Gestión del rastreo de URLs de navegación por facetas

Cambiar cualquiera de los parámetros de la URL productos, color, y
tamaño mostraría un conjunto diferente de elementos en la página subyacente. Esto a menudo significa un número muy grande de posibles combinaciones de filtros, lo que se traduce en un número muy grande de posibles URLs. Para ahorrar sus recursos, recomendamos tratar estas URLs de una de las siguientes maneras:

  • Si no necesita que las URLs de navegación por facetas estén indexadas, evite el rastreo de estas URLs.
  • Si necesita que las URLs de navegación por facetas estén potencialmente indexadas, asegúrese de que las URLs sigan nuestras mejores prácticas descritas en la siguiente sección. Tenga en cuenta que el rastreo de URLs facetadas tiende a costar a los sitios grandes cantidades de recursos informáticos debido a la gran cantidad de URLs y operaciones necesarias para renderizar esas páginas.

Evitar el rastreo de URLs de navegación por facetas

Si desea ahorrar recursos del servidor y no necesita que sus URLs de navegación por facetas aparezcan en la Búsqueda de Google u otros productos de Google, puede evitar el rastreo de estas URLs de una de las siguientes maneras.

  • Use robots.txt para no permitir el rastreo de URLs de navegación por facetas. A menudo no hay una buena razón para permitir el rastreo de elementos filtrados, ya que consume recursos del servidor sin beneficio o con un beneficio insignificante; en su lugar, permita el rastreo solo de las páginas de elementos individuales junto con una página de listado dedicada que muestre todos los productos sin filtros aplicados.

    Gestión del rastreo de URLs de navegación por facetas — 2
  • Use fragmentos de URL para especificar filtros.

    Si su mecanismo de filtrado se basa en fragmentos de URL, no tendrá impacto en el rastreo (positivo o negativo). Por ejemplo, en lugar de parámetros de URL, use fragmentos de URL:

Otras formas de señalar una preferencia sobre qué URLs de navegación por facetas (no) rastrear es usar el
rel="canonical" enlace elemento y el rel="nofollow" atributo de anclaje. Sin embargo, estos métodos son generalmente menos efectivos a largo plazo que los métodos mencionados anteriormente.

  • Usar rel="canonical"
    para especificar qué URL es la versión canónica de una URL de navegación por facetas

    puede, con el tiempo, disminuir el volumen de rastreo de las versiones no canónicas de esas URLs. Por ejemplo, si tiene 3 tipos de páginas filtradas, considere apuntar el rel="canonical" a la versión no filtrada:
    https://example.com/items.shtm?products=fish&color=radioactive_green&size=tiny
    especifica <link rel="canonical" href="https://example.com/items.shtm?products=fish" >.
  • Usar
    rel="nofollow"
    atributos en anclajes que apuntan a páginas de resultados filtrados

    puede ser beneficioso, sin embargo, tenga en cuenta que cada anclaje que apunte a una URL específica debe tener el rel="nofollow" atributo para que sea efectivo.

Asegúrese de que las URLs de navegación por facetas sean óptimas para la web

Si necesita que sus URLs de navegación por facetas sean potencialmente rastreadas e indexadas, asegúrese de seguir estas mejores prácticas para minimizar los efectos negativos del rastreo del gran número de URLs potenciales en su sitio:

  1. Use el separador de parámetros de URL estándar de la industria ‘&‘. Caracteres como coma (“,”), punto y coma (“;”) y corchetes (“(” y “)”) son difíciles de detectar para los rastreadores como separadores de parámetros (porque la mayoría de las veces no son separadores).,Si está codificando filtros en la ruta de la URL, como;/products/[ fish
    ]green
  2. tiny
    , asegúrese de que el orden lógico de los filtros siempre permanezca igual y que no puedan existir filtros duplicados.Devuelva un HTTP/código de estado cuando una combinación de filtros no devuelva resultados./Si no hay peces verdes en el inventario del sitio, los usuarios y los rastreadores deben recibir un error de "no encontrado" con el código de estado HTTP adecuado (). Este también debería ser el caso si la URL contiene filtros duplicados o combinaciones de filtros sin sentido, y URLs de paginación inexistentes. Del mismo modo, si una combinación de filtros no tiene resultados, no redirija a una página de error común de “no encontrado”. En su lugar, sirva un error de “no encontrado” con el
  3. código de estado HTTP bajo la URL donde se encontró. 404 Si
    tiene una aplicación de una sola página404esto podría no ser posible. Siga las mejores prácticas para aplicaciones de una sola página. 404
    Gestión del rastreo de URLs de navegación por facetas | Alien Road

Alien Road

Cómo lo aplicamos

Faceted navigation is the fastest way to generate millions of low-value URLs. On every ecommerce project we decide up front which facet combinations are indexable, and we enforce it in the template rather than with tags added later.

Servicios relacionados

Compartir