Data lakehouse для ИИ служит единым репозиторием, который позволяет командам хранить необработанные данные, сохраняя при этом функции управления складом. Объединив эти две структуры, организации могут запускать модели машинного обучения и запросы бизнес-аналитики на одном и том же наборе данных. Databricks определяет эту архитектуру как необходимую для поддержки как задач BI, так и машинного обучения. Этот подход сокращает количество информационных силосов и гарантирует, что ваша техническая инфраструктура сможет эффективно справляться с требованиями современных проектов в области науки о данных.
Почему компании должны перейти к архитектуре data lakehouse?
Традиционные настройки данных часто страдают от разделения между data lake, которые содержат неструктурированные данные, и data warehouse, в которых хранятся структурированные, очищенные данные. Это разделение заставляет команды дублировать данные, что увеличивает расходы и создает ошибки синхронизации. Lakehouse устраняет этот разрыв, обеспечивая прямой доступ к необработанным файлам и одновременно предоставляя уровень схемы поверх них. В типичном аккаунте это изменение приводит к ускорению времени обучения моделей, поскольку инженеры тратят меньше времени на перемещение данных между системами.
Используя lakehouse, вы сохраняете единый источник истины для всех аналитических процессов. Это полезно, когда вам нужно выполнять сложные SQL-запросы для отчетности и одновременно обучать нейронную сеть на тех же исторических логах. Вы избегаете распространенной ловушки, когда в вашем BI-инструменте и модели ИИ существуют разные версии истины. Надежность потока данных — главное преимущество для команд, управляющих большими наборами данных.
Чем data lakehouse отличается от старых моделей хранения?
| Характеристика | Data Lake | Data Lakehouse |
|---|---|---|
| Тип хранения | Необработанные файлы | Структурированные и необработанные |
| Управление | Минимальное | Уровень склада |
| Основное использование | Пакетная обработка больших данных | Интеграция ИИ и BI |
Основное различие заключается в уровне управления метаданными и схемами. Стандартный data lake действует как контейнер для файлов, требуя ручной работы для определения структуры перед выполнением запросов. Lakehouse добавляет уровень абстракции, который обрабатывает транзакции, версии и индексы. Это позволяет пользователям применять ACID-транзакции к своим объектам данных, что является стандартным требованием для поддержания целостности во время одновременных операций чтения и записи. Он обеспечивает гибкость файловой системы со строгостью управления базами данных.
Каковы основные компоненты этой архитектуры?
Создание этой инфраструктуры включает три конкретных уровня, которые работают вместе. Уровень хранения использует недорогое объектное хранилище, такое как Amazon S3 или Azure Blob Storage, для хранения огромных объемов данных по низкой цене за гигабайт. Уровень посредничества обеспечивает логику для применения схем и возможности перемещения во времени. Наконец, уровень приложений подключает ваши BI-инструменты и фреймворки машинного обучения напрямую к обработанным данным. Разделение этих уровней гарантирует, что ваши расходы на хранение не будут расти по мере масштабирования ваших вычислительных потребностей.
- Объектное хранилище: S3, ADLS или GCS для экономичного хранения необработанных файлов.
- Уровень посредничества: Инструменты, обеспечивающие применение схем и транзакционную целостность.
- Движок обработки: Вычислительные кластеры, которые запрашивают уровень хранения в режиме реального времени.
- Сервис каталога: Центральный реестр для отслеживания метаданных таблиц и разрешений.
Как Alien Road применяет инфраструктуру data lakehouse
В Alien Road мы помогаем клиентам, проверяя их существующие конвейеры перед миграцией на модель lakehouse. Наш подход начинается с этапа обнаружения, на котором мы проводим аудит текущего потока данных, чтобы определить, где происходит дублирование. Затем мы настраиваем структурированную среду хранения, которая позволяет выполнять инкрементальные обновления. В типичном проекте мы развертываем фреймворк, который отделяет вычисления от хранения, позволяя клиентам масштабировать свои кластеры обучения ИИ без увеличения объема постоянного хранилища. Мы фокусируемся на создании чистых конвейеров данных, которые напрямую поступают в производственные модели.
Как поддерживать качество данных в lakehouse?
Поддержание качества в среде lakehouse требует строгой проверки схемы в точке приема. Когда вы позволяете необработанным данным попадать в ваше озеро, ошибки форматирования легко накапливаются со временем. Мы рекомендуем внедрить архитектуру медальона, которая организует данные в три уровня: бронзовый, серебряный и золотой. Каждый уровень повышает степень очистки данных. К тому времени, как данные достигают золотого уровня, они полностью очищены и готовы к использованию моделями ИИ с высокой отдачей.
- Бронзовый уровень: Зона приземления необработанных данных без структурных изменений.
- Серебряный уровень: Отфильтрованные и очищенные данные с согласованными схемами.
- Золотой уровень: Агрегаты бизнес-уровня, готовые для инструментов ИИ и BI.
- Мониторинг: Автоматизированные проверки для выявления отсутствующих данных или дрейфа схемы.
Какие технические препятствия следует ожидать?
Вы, вероятно, столкнетесь с проблемами, связанными с управлением данными и контролем доступа. Поскольку lakehouse содержит как необработанные, так и очищенные данные, вы должны убедиться, что конфиденциальная информация правильно замаскирована или зашифрована. Управление разрешениями между различными отделами — еще одно препятствие, так как вам нужно предоставить специалистам по данным доступ к необработанным данным, ограничив при этом аналитиков очищенными таблицами золотого уровня. Распространенным шаблоном является использование централизованного управления идентификацией для привязки ролей пользователей к конкретным корзинам хранения. Это предотвращает несанкционированный доступ, сохраняя при этом данные доступными для авторизованных технических рабочих процессов.
С чего начать на этой неделе
Начните с аудита ваших текущих расходов на хранение данных и определения крупнейших источников избыточных данных. Выберите один конкретный вариант использования ИИ, например, модель оттока клиентов, и попробуйте создать прототип lakehouse небольшого масштаба, используя существующие инструменты вашего облачного провайдера. Не пытайтесь мигрировать все сразу. Начните с одного набора данных, который требует как SQL-запросов, так и обработки машинного обучения, чтобы проверить прирост производительности. Этот взвешенный подход позволяет отладить вашу инфраструктуру перед масштабированием для поддержки всей вашей организации.
Часто задаваемые вопросы
Заменяет ли data lakehouse data warehouse?
Он часто функционирует как замена традиционным складам, предоставляя аналогичные функции управления и одновременно поддерживая потребности ИИ в неструктурированных данных. Однако многие компании сохраняют устаревшие склады для конкретных операционных задач. Lakehouse — это современная альтернатива, которая обеспечивает лучшую поддержку современных требований машинного обучения по сравнению со старыми, жесткими конструкциями складов.
Дорого ли обходится облачное хранилище для data lakehouse?
Облачное объектное хранилище, как правило, недорогое по сравнению с высокопроизводительным хранилищем баз данных. Основным фактором затрат в lakehouse является вычислительный движок, используемый для обработки данных. Разделив хранилище и вычисления, вы можете оптимизировать свои расходы, отключая кластеры, когда они не обучают модели активно или не выполняют крупные аналитические запросы.
Как lakehouse обрабатывает данные в реальном времени?
Современные архитектуры lakehouse поддерживают потоковую передачу данных через коннекторы, которые записывают данные непосредственно на уровень хранения. Эти системы могут обрабатывать входящие потоки событий и делать их доступными для запросов в течение нескольких секунд. Это позволяет вашим моделям ИИ потреблять самую свежую информацию, не дожидаясь завершения традиционных ежедневных циклов пакетной обработки.
Какие навыки необходимы для управления этой инфраструктурой?
Ваша команда должна быть знакома с фреймворками распределенных вычислений и SQL. Инженеры данных должны понимать, как управлять метаданными и эволюцией схем, а специалисты по данным должны знать, как подключить свой код обучения моделей к уровню хранения. Обучение вашей существующей команды этим конкретным точкам интеграции часто эффективнее, чем наем новых специалистов.
Может ли lakehouse повысить точность модели ИИ?
Он повышает точность, обеспечивая лучший доступ к высококачественным историческим данным. Когда ваши данные очищены и организованы последовательным образом, ваши модели могут учиться на более надежных признаках. Устранив технические трудности доступа к различным силосам данных, ваши инженеры могут тратить больше времени на проектирование признаков, а не на подготовку и сбор данных.
Читать далее: Оптимизация ИИ · Оптимизация ИИ