Un data lakehouse para IA sirve como un repositorio unificado que permite a los equipos almacenar datos sin procesar mientras mantienen las características de gestión de un almacén. Al fusionar estas dos estructuras, las organizaciones pueden ejecutar modelos de machine learning y consultas de business intelligence sobre el mismo conjunto de datos. Databricks define esta arquitectura como esencial para respaldar tanto las tareas de BI como las de machine learning. Este enfoque reduce los silos de datos y garantiza que su infraestructura técnica pueda manejar las demandas de los proyectos modernos de ciencia de datos de manera efectiva.
¿Por qué las empresas deberían avanzar hacia una arquitectura de data lakehouse?
Las configuraciones de datos tradicionales a menudo sufren de una división entre los data lakes, que contienen datos no estructurados, y los data warehouses, que albergan datos estructurados y limpios. Esta división obliga a los equipos a duplicar datos, lo que aumenta los costos y crea errores de sincronización. Un lakehouse cierra esta brecha al permitir el acceso directo a archivos sin procesar mientras proporciona una capa de esquema en la parte superior. En una cuenta típica, este cambio resulta en tiempos de entrenamiento de modelos más rápidos porque los ingenieros pasan menos tiempo moviendo datos entre sistemas.
Cuando utiliza un lakehouse, mantiene una única fuente de verdad para todos los procesos analíticos. Esto es útil cuando necesita ejecutar consultas SQL complejas para informes mientras entrena simultáneamente una red neuronal en los mismos registros históricos. Evita la trampa común de tener diferentes versiones de la verdad en su herramienta de BI y su modelo de IA. La confiabilidad en el flujo de datos es el principal beneficio para los equipos que gestionan grandes conjuntos de datos.
¿En qué se diferencia un data lakehouse de los modelos de almacenamiento antiguos?
| Característica | Data Lake | Data Lakehouse |
|---|---|---|
| Tipo de almacenamiento | Archivos sin procesar | Estructurado y sin procesar |
| Gestión | Mínima | Grado de almacén |
| Uso principal | Procesamiento por lotes de Big Data | Integración de IA y BI |
La diferencia principal radica en la capa de gestión de metadatos y esquemas. Un data lake estándar actúa como un contenedor para archivos, lo que requiere trabajo manual para definir la estructura antes de realizar consultas. Un lakehouse añade una capa de abstracción que maneja transacciones, versiones e índices. Esto permite a los usuarios aplicar transacciones ACID a sus objetos de datos, lo cual es un requisito estándar para mantener la integridad durante las operaciones de lectura y escritura concurrentes. Proporciona la flexibilidad de un sistema de archivos con el rigor de la gestión de bases de datos.
¿Cuáles son los componentes principales de esta arquitectura?
La construcción de esta infraestructura implica tres capas específicas que trabajan juntas. La capa de almacenamiento utiliza almacenamiento de objetos de bajo costo, como Amazon S3 o Azure Blob Storage, para mantener volúmenes masivos de datos a un precio bajo por gigabyte. La capa de mediación proporciona la lógica para la aplicación de esquemas y capacidades de viaje en el tiempo. Finalmente, la capa de aplicación conecta sus herramientas de BI y marcos de machine learning directamente a los datos procesados. Mantener estas capas distintas garantiza que sus costos de almacenamiento no se disparen mientras escala sus necesidades de computación.
- Almacenamiento de objetos: S3, ADLS o GCS para la retención de archivos sin procesar de manera rentable.
- Capa de mediación: Herramientas que proporcionan aplicación de esquemas e integridad transaccional.
- Motor de procesamiento: Clústeres de computación que consultan la capa de almacenamiento en tiempo real.
- Servicio de catálogo: Un registro central para rastrear metadatos de tablas y permisos.
Cómo aplica Alien Road la infraestructura de data lakehouse
En Alien Road, ayudamos a los clientes revisando sus tuberías existentes antes de migrar a un modelo de lakehouse. Nuestro enfoque comienza con una fase de descubrimiento donde auditamos el flujo de datos actual para identificar dónde ocurre la duplicación. Luego configuramos un entorno de almacenamiento estructurado que permite actualizaciones incrementales. En un compromiso típico, desplegamos un marco que separa la computación del almacenamiento, permitiendo a los clientes escalar sus clústeres de entrenamiento de IA sin aumentar su huella de almacenamiento permanente. Nos enfocamos en crear tuberías de datos limpias que alimenten directamente los modelos de producción.
¿Cómo se mantiene la calidad de los datos en un lakehouse?
Mantener la calidad en un entorno de lakehouse requiere una validación estricta del esquema en el punto de ingestión. Cuando permite que los datos sin procesar entren en su lake, es fácil que los errores de formato se acumulen con el tiempo. Recomendamos implementar una arquitectura de medallón, que organiza los datos en tres niveles: bronce, plata y oro. Cada nivel aumenta el grado de refinamiento de los datos. Para cuando los datos llegan al nivel de oro, están completamente limpios y listos para el consumo de modelos de IA de alto impacto.
- Nivel Bronce: Zona de aterrizaje de datos sin procesar sin cambios estructurales.
- Nivel Plata: Datos filtrados y limpios con esquemas consistentes.
- Nivel Oro: Agregados a nivel empresarial listos para herramientas de IA y BI.
- Monitoreo: Verificaciones automatizadas para marcar datos faltantes o deriva de esquemas.
¿Qué obstáculos técnicos debería anticipar?
Es probable que enfrente desafíos relacionados con la gobernanza de datos y el control de acceso. Debido a que un lakehouse contiene datos tanto sin procesar como refinados, debe asegurarse de que la información sensible esté enmascarada o cifrada correctamente. Gestionar los permisos entre diferentes departamentos es otro obstáculo, ya que necesita proporcionar a los científicos de datos acceso a datos sin procesar mientras restringe a los analistas a tablas de nivel oro limpias. Un patrón común es utilizar la gestión de identidad centralizada para vincular los roles de usuario a depósitos de almacenamiento específicos. Esto evita el acceso no autorizado mientras mantiene los datos accesibles para flujos de trabajo técnicos autorizados.
Por dónde empezar esta semana
Comience auditando sus costos actuales de almacenamiento de datos e identificando las mayores fuentes de datos redundantes. Seleccione un caso de uso de IA específico, como un modelo de abandono de clientes, e intente construir un prototipo de lakehouse a pequeña escala utilizando sus herramientas de proveedor de nube existentes. No intente migrar todo a la vez. Comience con un solo conjunto de datos que requiera tanto consultas SQL como procesamiento de machine learning para verificar las ganancias de rendimiento. Este enfoque medido le permite depurar su infraestructura antes de escalarla para respaldar a toda su organización.
Preguntas frecuentes
¿Un data lakehouse reemplaza a un data warehouse?
A menudo funciona como un reemplazo para los almacenes tradicionales al proporcionar características de gestión similares mientras respalda las necesidades de datos no estructurados de la IA. Sin embargo, muchas empresas mantienen almacenes heredados para tareas operativas específicas. Un lakehouse es una alternativa moderna que proporciona un mejor soporte para los requisitos modernos de machine learning en comparación con los diseños de almacén rígidos y antiguos.
¿Es costoso el almacenamiento en la nube para un data lakehouse?
El almacenamiento de objetos en la nube es generalmente económico en comparación con el almacenamiento de bases de datos de alto rendimiento. El principal factor de costo en un lakehouse es el motor de computación utilizado para procesar los datos. Al separar su almacenamiento de su computación, puede optimizar sus costos apagando los clústeres cuando no están entrenando modelos activamente o ejecutando grandes consultas analíticas.
¿Cómo maneja el lakehouse los datos en tiempo real?
Las arquitecturas modernas de lakehouse admiten datos en streaming a través de conectores que escriben directamente en la capa de almacenamiento. Estos sistemas pueden procesar flujos de eventos entrantes y hacerlos disponibles para consultas en segundos. Esto permite que sus modelos de IA consuman la información más reciente sin necesidad de esperar a que terminen los ciclos tradicionales de procesamiento por lotes diarios.
¿Qué habilidades se necesitan para gestionar esta infraestructura?
Su equipo debe sentirse cómodo con los marcos de computación distribuida y SQL. Los ingenieros de datos deben entender cómo gestionar los metadatos y la evolución del esquema, mientras que los científicos de datos deben saber cómo conectar su código de entrenamiento de modelos a la capa de almacenamiento. Capacitar a su equipo existente en estos puntos de integración específicos suele ser más efectivo que contratar nuevos especialistas.
¿Puede un lakehouse mejorar la precisión del modelo de IA?
Mejora la precisión al proporcionar un mejor acceso a datos históricos de alta calidad. Cuando sus datos están limpios y organizados de manera consistente, sus modelos pueden aprender de características más confiables. Al eliminar la fricción técnica de acceder a diferentes silos de datos, sus ingenieros pueden dedicar más tiempo a la ingeniería de características en lugar de preparar y recopilar datos.
Siga leyendo: Optimización de IA · Optimización de IA