Ai məlumat boru kəməri arxitekturası

Funksional arxitektura bütün xam məlumatlar üçün giriş nöqtəsi kimi çıxış edən daxiletmə təbəqəsindən başlayır. Marketinq kontekstində buna Google Ads-dən gələn siqnallar, Shopify mağazasındakı müştəri qarşılıqlı əlaqələri və ya mobil tətbiqdən server tərəfi jurnalları daxil ola bilər. Daxiletmə təbəqəsi strukturlaşdırılmış SQL verilənlər bazası cədvəllərindən tutmuş veb-qarmaqlardan (webhooks) gələn strukturlaşdırılmamış JSON bloblarına qədər müxtəlif formatları idarə etməlidir. Məlumatların planlaşdırılmış intervallarla böyük hissələrlə köçürüldüyü toplu emal (batch processing) və məlumatların real vaxt rejimində idarə olunduğu axın emalı (stream processing) arasında seçim etmək, AI modellərinizin yeni məlumatlara nə qədər tez cavab verə biləcəyinə təsir edən bu mərhələdə fundamental qərardır.

Daxiletmədən sonra saxlama təbəqəsi məlumatlar üçün eniş zonası təmin edir. Bir çox müasir arxitekturalar, hər hansı bir emal baş verməzdən əvvəl xam məlumatları orijinal formada saxlamaq üçün Amazon S3 və ya Google Cloud Storage kimi məlumat gölü (data lake) yanaşmasından istifadə edir. Bu, məlumat alimlərinə transformasiya məntiqini sonradan dəyişdirməli olduqları təqdirdə orijinal qeydlərə yenidən baxmağa imkan verir. Saxlamadan sonra, Apache Spark və ya dbt (data build tool) kimi alətlərdən istifadə edərək məlumatları təmizləmək, süzgəcdən keçirmək və toplamaq üçün emal və ya transformasiya təbəqəsi işə düşür. Bu mərhələ xam kliklərin ‘orta sifariş dəyəri’ və ya ‘müştəri itkisi ehtimalı balı’ kimi mənalı xüsusiyyətlərə çevrildiyi və daha sonra maşın öyrənməsi modellərinə daxil edildiyi yerdir.

Uğurlu daxiletmə sxemlər dəyişdikdə pozulmadan müxtəlif API-lərə və verilənlər bazalarına qoşulmaq üçün etibarlı bir yol tələb edir. Məsələn, Facebook Graph API-dən məlumat çəkirsinizsə, boru kəməriniz dərəcə limitlərini və sahə adlarındakı potensial dəyişiklikləri zərif şəkildə idarə etməlidir. Ümumi bir nümunə, yüzlərlə marketinq platforması üçün əvvəlcədən qurulmuş konnektorları təmin edən Fivetran və ya Airbyte kimi idarə olunan daxiletmə xidmətlərindən istifadə etməkdir. Bu alətlər çıxarış prosesini avtomatlaşdırır və məlumatları Snowflake və ya BigQuery kimi mərkəzi anbara yükləyir, boru kəmərinin növbəti addımları üçün məlumatların ardıcıl formatda gəlməsini təmin edir.

Real vaxt rejimində veb-sayt izləmə kimi yüksək həcmli hadisələrlə işləyərkən, Apache Kafka və ya Google Pub/Sub kimi mesaj brokeri zəruri olur. Bu sistemlər bufer rolunu oynayır və Black Friday satışı zamanı olduğu kimi trafikin qəfil artması nəticəsində aşağı axın saxlama sisteminin yüklənməsinin qarşısını alır. Məlumat istehsalçılarını məlumat istehlakçılarından ayırmaqla, bir komponentin sıradan çıxa biləcəyi və ya bütün arxitekturanı çökdürmədən yenilənə biləcəyi daha dayanıqlı bir sistem yaradırsınız. Bu modulluq, çoxsaylı biznes bölmələri üzrə geniş miqyaslı AI əməliyyatlarını dəstəkləyən qabaqcıl boru kəmərlərinin əsas xüsusiyyətidir.

Məlumat transformasiyası tez-tez arxitekturanın ən çox resurs tələb edən hissəsidir, çünki o, mürəkkəb hesablamaları və müxtəlif verilənlər dəstlərinin birləşdirilməsini əhatə edir. Məsələn, müştəri ömür boyu dəyəri modeli üçün təlim dəsti yaratmaq üçün POS sistemindən əməliyyat tarixçəsini, Mailchimp-dən e-poçt nişanlılıq məlumatlarını və GA4-dən veb-sayt davranışını birləşdirməlisiniz. Bu, əhəmiyyətli hesablama gücü və diqqətlə yazılmış SQL və ya Python skriptləri tələb edir. Məqsəd ‘xam məlumatlardan’ hər bir sütunun AI modelinin nümunələri tapmaq və proqnozlar vermək üçün şərh edə biləcəyi xüsusi bir atributu təmsil etdiyi ‘xüsusiyyətə hazır məlumatlara’ keçməkdir.

Bu mərhələyə həmçinin bütün valyuta dəyərlərinin vahid baza valyutasına çevrilməsini və ya tarix formatlarının bütün mənbələr üzrə standartlaşdırılmasını təmin etmək kimi məlumatların normallaşdırılması daxildir. Bu addımlar olmadan, AI modeli yanlış nümunələr öyrənə bilər ki, bu da qərəzli və ya qeyri-dəqiq nəticələrə gətirib çıxarır. Bir çox komanda indi ənənəvi ETL əvəzinə ELT (Çıxar, Yüklə, Transformasiya et) yanaşmasını tətbiq edir. ELT-də məlumat əvvəlcə güclü bulud anbarına yüklənir və transformasiya anbarın daxilində baş verir. Bu, müasir bulud platformalarının kütləvi paralel emal imkanlarından istifadə edir və boru kəmərini iterativ sınaq üçün daha sürətli və çevik edir.

Məlumat keyfiyyətini qorumaq boru kəmərinin hər mərhələsində avtomatlaşdırılmış yoxlama yoxlamalarının tətbiqini tələb edir. Ümumi bir təcrübə, məlumat müəyyən meyarlara cavab vermədikdə boru kəmərini dayandıran ‘dövrə kəsiciləri’ qurmaqdır. Məsələn, transformasiya addımı əvvəlki günlə müqayisədə qeyd sayında 50% azalma ilə nəticələnərsə, sistem həmin məlumat AI modelinə çatmazdan əvvəl xəbərdarlıq etməlidir. Great Expectations və ya Monte Carlo kimi alətlər məlumatın təravətini, həcmini və paylanmasını izləmək üçün inteqrasiya oluna bilər. Bu alətlər, modelin performansının pisləşməsinə səbəb ola biləcək giriş məlumatlarının statistik xüsusiyyətlərinin zamanla dəyişdiyi ‘məlumat sürüşməsini’ (data drift) müəyyən etməyə kömək edir.

• Sxem Doğrulaması: Daxil olan məlumatların gözlənilən məlumat növlərinə və strukturlarına uyğun olduğundan əmin olun.
• Boş Dəyər Yoxlamaları: İstifadəçi ID-si və ya Gəlir kimi kritik sahələrdə gözlənilməz çatışmayan dəyərləri izləyin.
• Anomaliya Aşkarlanması: Məlumatlarda izləmə xətası və ya bot hücumunu göstərə biləcək kənar dəyərləri müəyyən edin.
• Həcm Monitorinqi: Məlumat axınında qəfil enişləri və ya artımları aşkar etmək üçün emal edilmiş sətirlərin sayını izləyin.
• Xətt İzləmə (Lineage Tracking): Problemlərin aradan qaldırılmasını sadələşdirmək üçün məlumatın mənbədən təyinat yerinə qədər keçdiyi yolu sənədləşdirin.

Saxlama seçimi məlumatın növündən və AI modelinin tələblərindən asılıdır. Hesabatlarda və klassik maşın öyrənməsində istifadə olunan strukturlaşdırılmış məlumatlar üçün BigQuery kimi bulud məlumat anbarı tez-tez ən yaxşı seçimdir, çünki o, sürətli SQL sorğularına imkan verir və birbaşa bir çox AI platformaları ilə inteqrasiya olunur. Bununla belə, generativ AI-də istifadə olunan şəkillər, audio və ya böyük mətn faylları kimi strukturlaşdırılmamış məlumatlar üçün Amazon S3 və ya Azure Blob Storage kimi məlumat gölü daha uyğundur. Bu sistemlər daha aşağı qiymətə demək olar ki, limitsiz saxlama təmin edir və məlumatların xüsusi təlim tapşırıqları üçün lazım olana qədər orijinal formatında saxlanmasına imkan verir.

Tez-tez ‘Data Lakehouse’ adlanan hibrid yanaşma populyarlıq qazanır. Bu arxitektura məlumat gölünün aşağı qiymətli saxlanmasını və çevikliyini məlumat anbarının performansı və ACID uyğunluğu ilə birləşdirir. Databricks və ya BigLake ilə BigQuery kimi platformalar komandalara böyük həcmdə məlumatları irəli-geri köçürmədən birbaşa məlumat göllərinin üstündə AI iş yüklərini yerinə yetirməyə imkan verir. Bu, gecikməni azaldır və məlumatların dublikatlaşdırılması riskini minimuma endirir, həm BI panellərinizin, həm də AI modellərinizin hər zaman həqiqətin eyni versiyasına baxmasını təmin edir.

AI məlumat boru kəməri arxitekturasını miqyaslandırmaq əl skriptlərindən uzaqlaşmağı və Apache Airflow və ya Prefect kimi orkestrləşdirmə alətlərini qəbul etməyi tələb edir. Bu alətlər boru kəmərini müxtəlif tapşırıqlar arasındakı asılılıqları idarə edən ‘Yönəldilmiş Asiklik Qrafik’ (DAG) kimi müəyyən etməyə imkan verir. Daxiletmə addımı uğursuz olarsa, orkestrləşdirmə aləti transformasiya addımının natamam məlumatlarla başlamamasını təmin edir. Məlumat həcmi artdıqca, bu alətlər artan yükü idarə etmək üçün buludda əlavə hesablama resurslarını avtomatik olaraq işə sala bilər və AI modellərinizin nə qədər məlumat toplamağınızdan asılı olmayaraq cədvəl üzrə yenilənməsini təmin edir.

Miqyaslandırmanın digər kritik aspekti ‘Məlumat Müqavilələrinin’ (Data Contracts) tətbiqidir. Məlumat müqaviləsi məlumat istehsalçıları (proqram mühəndisləri kimi) və məlumat istehlakçıları (məlumat alimləri kimi) arasında təmin edilən məlumatın formatı və keyfiyyəti haqqında bir razılaşmadır. Bu müqavilələri mənbədə tətbiq etməklə, yuxarı axın dəyişikliklərinin aşağı axın AI modellərini pozmasının qarşısını alırsınız. Bu mədəni dəyişiklik, avtomatlaşdırılmış infrastrukturla birlikdə, kiçik bir komandaya gündə milyardlarla hadisəni emal edən mürəkkəb boru kəmərlərini idarə etməyə imkan verir və bütün şirkət daxilində qabaqcıl maşın öyrənməsi təşəbbüsləri üçün sabit bir təməl təmin edir.