AI için bir data lakehouse, ekiplerin ham verileri depolamasına olanak tanırken aynı zamanda bir deponun yönetim özelliklerini koruyan birleşik bir depo görevi görür. Bu iki yapıyı birleştirerek, kuruluşlar makine öğrenimi modellerini ve iş zekası sorgularını aynı veri kümesi üzerinde çalıştırabilirler. Databricks, bu mimariyi hem BI hem de makine öğrenimi görevlerini desteklemek için gerekli olarak tanımlar. Bu yaklaşım veri silolarını azaltır ve teknik altyapınızın modern veri bilimi projelerinin taleplerini etkili bir şekilde karşılayabilmesini sağlar.
Şirketler neden bir data lakehouse mimarisine geçmelidir?
Geleneksel veri kurulumları genellikle yapılandırılmamış verileri tutan data lake’ler ile yapılandırılmış, temizlenmiş verileri barındıran veri depoları arasındaki bölünmeden muzdariptir. Bu bölünme, ekipleri verileri çoğaltmaya zorlar, bu da maliyetleri artırır ve senkronizasyon hataları yaratır. Bir lakehouse, ham dosyalara doğrudan erişime izin verirken üzerinde bir şema katmanı sağlayarak bu boşluğu kapatır. Tipik bir hesapta, bu değişiklik daha hızlı model eğitim süreleri ile sonuçlanır çünkü mühendisler verileri sistemler arasında taşımaya daha az zaman harcarlar.
Bir lakehouse kullandığınızda, tüm analitik süreçler için tek bir doğruluk kaynağını korursunuz. Bu, raporlama için karmaşık SQL sorguları çalıştırmanız gerektiğinde ve aynı zamanda aynı geçmiş günlükler üzerinde bir sinir ağını eğitirken yararlıdır. BI aracınızda ve AI modelinizde farklı doğruluk sürümlerine sahip olma gibi yaygın tuzaktan kaçınırsınız. Veri akışındaki güvenilirlik, büyük veri kümelerini yöneten ekipler için temel avantajdır.
Bir data lakehouse eski depolama modellerinden nasıl farklıdır?
| Özellik | Data Lake | Data Lakehouse |
|---|---|---|
| Depolama Türü | Ham Dosyalar | Yapılandırılmış ve Ham |
| Yönetim | Minimum | Depo Sınıfı |
| Birincil Kullanım | Büyük Veri Toplu İşleme | AI ve BI Entegrasyonu |
Temel fark, meta veri ve şema yönetimi katmanındadır. Standart bir data lake, dosyalar için bir kova görevi görür ve sorgulamadan önce yapıyı tanımlamak için manuel çalışma gerektirir. Bir lakehouse, işlemleri, sürümleri ve dizinleri yöneten bir soyutlama katmanı ekler. Bu, kullanıcıların veri nesnelerine ACID işlemleri uygulamasına olanak tanır; bu, eşzamanlı okuma ve yazma işlemleri sırasında bütünlüğü korumak için standart bir gereksinimdir. Dosya sisteminin esnekliğini veritabanı yönetiminin ciddiyetiyle sağlar.
Bu mimarinin temel bileşenleri nelerdir?
Bu altyapıyı oluşturmak, birlikte çalışan üç özel katmanı içerir. Depolama katmanı, gigabayt başına düşük bir fiyata büyük hacimli verileri tutmak için Amazon S3 veya Azure Blob Storage gibi düşük maliyetli nesne depolama sistemlerini kullanır. Aracılık katmanı, şema uygulaması ve zaman yolculuğu yetenekleri için mantığı sağlar. Son olarak, uygulama katmanı BI araçlarınızı ve makine öğrenimi çerçevelerinizi doğrudan işlenmiş verilere bağlar. Bu katmanları ayrı tutmak, bilgi işlem ihtiyaçlarınızı ölçeklendirirken depolama maliyetlerinizin artmamasını sağlar.
- Nesne Depolama: Ham, uygun maliyetli dosya saklama için S3, ADLS veya GCS.
- Aracılık Katmanı: Şema uygulaması ve işlemsel bütünlük sağlayan araçlar.
- İşleme Motoru: Depolama katmanını gerçek zamanlı olarak sorgulayan bilgi işlem kümeleri.
- Katalog Hizmeti: Tablo meta verilerini ve izinlerini izlemek için merkezi bir kayıt defteri.
Alien Road data lakehouse altyapısını nasıl uygular
Alien Road’da, müşterilere bir lakehouse modeline geçmeden önce mevcut boru hatlarını gözden geçirerek yardımcı oluyoruz. Yaklaşımımız, kopyaların nerede oluştuğunu belirlemek için mevcut veri akışını denetlediğimiz bir keşif aşamasıyla başlar. Daha sonra artımlı güncellemelere izin veren yapılandırılmış bir depolama ortamı kuruyoruz. Tipik bir çalışmada, bilgi işlemi depolamadan ayıran bir çerçeve dağıtıyoruz, bu da müşterilerin AI eğitim kümelerini kalıcı depolama alanlarını artırmadan ölçeklendirmelerine olanak tanır. Doğrudan üretim modellerine beslenen temiz veri boru hatları oluşturmaya odaklanıyoruz.
Bir lakehouse’da veri kalitesini nasıl korursunuz?
Bir lakehouse ortamında kaliteyi korumak, alım noktasında katı şema doğrulaması gerektirir. Ham verilerin gölünüze girmesine izin verdiğinizde, biçimlendirme hatalarının zamanla birikmesi kolaydır. Verileri üç aşamada düzenleyen madalyon mimarisini uygulamanızı öneririz: bronz, gümüş ve altın. Her aşama veri iyileştirme seviyesini artırır. Veriler altın aşamaya ulaştığında, tamamen temizlenmiş ve yüksek etkili AI modeli tüketimi için hazır hale gelir.
- Bronz Katman: Yapısal değişiklikler olmadan ham veri iniş bölgesi.
- Gümüş Katman: Tutarlı şemalarla filtrelenmiş ve temizlenmiş veriler.
- Altın Katman: AI ve BI araçları için hazır olan iş düzeyinde toplamlar.
- İzleme: Eksik verileri veya şema kaymasını işaretlemek için otomatik kontroller.
Hangi teknik engelleri beklemelisiniz?
Veri yönetişimi ve erişim kontrolü ile ilgili zorluklarla karşılaşacaksınız. Bir lakehouse hem ham hem de iyileştirilmiş verileri tuttuğundan, hassas bilgilerin doğru şekilde maskelendiğinden veya şifrelendiğinden emin olmalısınız. Farklı departmanlar arasındaki izinleri yönetmek başka bir engeldir, çünkü veri bilimcilerine ham verilere erişim sağlamanız gerekirken analistleri temizlenmiş altın katman tablolarıyla sınırlamanız gerekir. Yaygın bir model, kullanıcı rollerini belirli depolama kovalarına bağlamak için merkezi kimlik yönetimini kullanmaktır. Bu, yetkisiz erişimi önlerken verileri yetkili teknik iş akışları için erişilebilir tutar.
Bu hafta nereden başlamalı
Mevcut veri depolama maliyetlerinizi denetleyerek ve en büyük gereksiz veri kaynaklarını belirleyerek başlayın. Müşteri kaybı modeli gibi belirli bir AI kullanım durumu seçin ve mevcut bulut sağlayıcısı araçlarınızı kullanarak küçük ölçekli bir lakehouse prototipi oluşturmaya çalışın. Her şeyi bir kerede taşımaya çalışmayın. Performans kazanımlarını doğrulamak için hem SQL sorgulama hem de makine öğrenimi işleme gerektiren tek bir veri kümesiyle başlayın. Bu ölçülü yaklaşım, tüm kuruluşunuzu desteklemek için ölçeklendirmeden önce altyapınızı hata ayıklamanıza olanak tanır.
Sıkça Sorulan Sorular
Bir data lakehouse bir veri deposunun yerini alır mı?
Genellikle benzer yönetim özellikleri sağlarken AI’nın yapılandırılmamış veri ihtiyaçlarını destekleyerek geleneksel depoların yerini alır. Ancak, birçok şirket belirli operasyonel görevler için eski depoları tutar. Bir lakehouse, eski, katı depo tasarımlarına kıyasla modern makine öğrenimi gereksinimleri için daha iyi destek sağlayan modern bir alternatiftir.
Bulut depolama bir data lakehouse için pahalı mı?
Bulut nesne depolama, yüksek performanslı veritabanı depolama ile karşılaştırıldığında genellikle ucuzdur. Bir lakehouse’daki ana maliyet faktörü, verileri işlemek için kullanılan bilgi işlem motorudur. Depolamanızı bilgi işleminizden ayırarak, kümeler aktif olarak modelleri eğitmediğinde veya büyük analitik sorgular çalıştırmadığında onları kapatarak maliyetlerinizi optimize edebilirsiniz.
Lakehouse gerçek zamanlı verileri nasıl işler?
Modern lakehouse mimarileri, doğrudan depolama katmanına yazan bağlayıcılar aracılığıyla akış verilerini destekler. Bu sistemler gelen olay akışlarını işleyebilir ve bunları saniyeler içinde sorgulama için kullanılabilir hale getirebilir. Bu, AI modellerinizin geleneksel günlük toplu işleme döngülerinin bitmesini beklemeden en son bilgileri tüketmesini sağlar.
Bu altyapıyı yönetmek için hangi beceriler gereklidir?
Ekibiniz dağıtılmış bilgi işlem çerçeveleri ve SQL konusunda rahat olmalıdır. Veri mühendisleri meta verileri ve şema evrimini nasıl yöneteceklerini anlamalı, veri bilimcileri ise model eğitim kodlarını depolama katmanına nasıl bağlayacaklarını bilmelidir. Mevcut ekibinizi bu belirli entegrasyon noktaları konusunda eğitmek genellikle yeni uzmanlar işe almaktan daha etkilidir.
Bir lakehouse AI modelinin doğruluğunu artırabilir mi?
Yüksek kaliteli, geçmiş verilere daha iyi erişim sağlayarak doğruluğu artırır. Verileriniz tutarlı bir şekilde temizlendiğinde ve düzenlendiğinde, modelleriniz daha güvenilir özelliklerden öğrenebilir. Farklı veri silolarına erişmenin teknik sürtünmesini ortadan kaldırarak, mühendisleriniz verileri hazırlamak ve toplamak yerine özellik mühendisliğine daha fazla zaman ayırabilirler.
Okumaya devam et: AI Optimizasyonu · AI Optimizasyonu