AI modelləri üçün məlumatların təmizlənməsi maşın öyrənməsi sistemlərinin performansını yaxşılaşdırmaq üçün verilənlər bazasındakı zədələnmiş, qeyri-dəqiq və ya əlaqəsiz qeydlərin aşkar edilməsi və düzəldilməsi prosesidir. Yüksək keyfiyyətli daxiletmə istənilən modelin uğurunu müəyyən edən əsas amildir, çünki hətta qabaqcıl alqoritmlər də zəif və ya qərəzli mənbə məlumatlarının məhdudiyyətlərini aşa bilmir. Formatlaşdırma problemlərini həll etməklə, dublikatları silməklə və çatışmayan dəyərləri düzəltməklə təlim dövrlərinizin səmərəli olmasını və yaranan nəticələrin etibarlı olmasını təmin edirsiniz.
Niyə məlumat keyfiyyəti AI performansı üçün vacibdir?
Model mahiyyət etibarilə təlim mərhələsində aldığı məlumatların əksidir. Əgər məlumat dəstinizdə natamam girişlər, uyğunsuz etiketlənmə və ya səs-küy varsa, sistem dəyişənlər arasında aydın nümunələri və ya əlaqələri müəyyən etməkdə çətinlik çəkəcək. Tipik bir hesabda aydın məlumatların olmaması modelin siqnalı deyil, səs-küyü öyrəndiyi həddən artıq uyğunlaşmaya (overfitting) səbəb olur. Bu, AI yeni, görünməyən daxiletmələrlə qarşılaşdıqda zəif ümumiləşdirmə yaradır. Təmizləmə mərhələsinə vaxt sərf etməklə modelin sonradan sazlanması çətin olan səhvlər etmə riskini azaldırsınız.
E-ticarət brendinin müştəri axınını proqnozlaşdırmaq istədiyi ssenarینی nəzərdən keçirək. Təlim məlumatlarına eyni istifadəçi ID-si üçün dublikat girişlər və ya alış tarixçəsi üçün çatışmayan vaxt möhürləri daxildirsə, model bu anomaliyaları səhvən axın davranışı ilə əlaqələndirə bilər. Bu, marketinq büdcəsini hədər edən yalançı müsbət nəticələrlə nəticələnir. Bu məlumatların təmizlənməsi tarix formatlarının standartlaşdırılmasını, artıq istifadəçi profillərinin silinməsini və proqnozlaşdırıcı təhlilin bütövlüyünü qorumaq üçün çatışmayan sahələrin məntiqi standartlarla doldurulmasını və ya tamamilə istisna edilməsini əhatə edir.
İlkin məlumat auditinə necə yanaşmalı?
Audit mərhələsi xam fayllarınızın formasını, paylanmasını və tamlığını başa düşməyə diqqət yetirməlidir. Hansı sahələrin dəyər təmin etmək üçün həddindən artıq seyrək olduğunu müəyyən etmək üçün hər bir sütundakı null dəyərlərin sayını hesablamaqla başlamalısınız. Modelin mərkəzi tendensiyaları başa düşməsini poza biləcək kənar dəyərlərin (outliers) olub olmadığını yoxlamaq da faydalıdır. Məsələn, orta əməliyyat dəyərlərini təhlil edirsinizsə, on dollar əvəzinə təsadüfən on milyon dollar daxil edilməsi modelinizin çəkilərini əhəmiyyətli dərəcədə təhrif edəcək.
Pandas kitabxanası ilə Python kimi alətlərdən istifadə etmək bu yoxlamaları yerinə yetirmək üçün ümumi bir üsuldur. Məlumat dəstinizin baş və quyruq hissələrinə baxmaq, məlumat növlərini müəyyən etmək və kateqoriyalı sütunlarda unikal dəyərləri yoxlamaq üçün əsas skriptlər işə sala bilərsiniz. Yalnız ‘Bəli’ və ya ‘Xeyr’ ehtiva etməli olan, lakin ‘Y’, ‘N’, ‘yes’ və ‘no’ kimi variantları ehtiva edən sütun görürsünüzsə, aydın təmizləmə tapşırığı müəyyən etmisiniz. Bu girişlərin standartlaşdırılması modelin onları düzgün təfsir etməsi üçün tələbdir.
Məlumatların təmizlənməsi prosesi üçün yoxlama siyahısı
- Modeli müəyyən daxiletmələrə doğru yönəldə biləcək dublikat sətirləri silin.
- Qeydləri silməklə, onları orta/median dəyərlərlə doldurmaqla və ya ‘naməlum’ kimi işarələməklə çatışmayan dəyərləri həll edin.
- Bütün xüsusiyyətlərin eyni miqyasda olmasını təmin etmək üçün rəqəmsal məlumatları normallaşdırın və böyük rəqəmlərin öyrənmə prosesində üstünlük təşkil etməsinin qarşısını alın.
- Bütün məlumat dəsti boyunca ardıcıl adlandırma qaydalarını təmin etmək üçün kateqoriyalı mətn sahələrini standartlaşdırın.
- Proqnozlaşdırma zamanı mövcud olmayan xüsusiyyətlərin təsadüfən təlim dəstinə daxil edildiyi məlumat sızmasını (data leakage) yoxlayın.
- Rəqəmsal sətirlərin riyazi hesablamalar üçün tam ədədlərə (integers) və ya üzən nöqtəli ədədlərə (floats) çevrilməsini təmin etmək kimi məlumat növlərini təsdiqləyin.
Alien Road müştərilər üçün məlumatların təmizlənməsini necə idarə edir?
Alien Road-da biz müştərilərimizin AI təşəbbüslərinin möhkəm təmər üzərində qurulmasını təmin etmək üçün strukturlaşdırılmış yanaşma izləyirik. Xam davranış qeydlərini çıxarmaq üçün CRM və ya marketinq avtomatlaşdırma platformalarına qoşularaq müştərinin daxili verilənlər bazasının dərin diaqnostikasını həyata keçirməklə başlayırıq. Biz məlumatların əlaqəsiz olduğu məlumat siloslarının müəyyən edilməsinə diqqət yetiririk, çünki bunlar tez-tez ziddiyyətli göstəricilərə səbəb olur. Məlumatlar birləşdirildikdən sonra kampaniyanın xüsusi biznes məqsədlərinə uyğunlaşdırılmış xüsusi təmizləmə boru kəməri yaradırıq.
Məsələn, pərakəndə satış sektorunda müştəri ilə işləyərkən biz müxtəlif regionlar üzrə valyuta formatlarının normallaşdırılmasına və uyğunsuz məhsul kateqoriyası etiketlərinin təmizlənməsinə diqqət yetiririk. Sonra biz transformasiya qaydalarını sənədləşdiririk ki, müştəri gələcəkdə boru kəmərini qoruyub saxlaya bilsin. Bu təmizləmə addımlarını avtomatlaşdırmaqla biz müştəriyə hər yeni yeniləmə üçün əllə müdaxilə etmədən gələcək hesabat və model təlim dövrlərinin dəqiq qalmasını təmin etməyə kömək edirik.
Kateqoriyalı və rəqəmsal məlumatları necə idarə edirsiniz?
| Məlumat Növü | Təmizləmə Əməliyyatı | Məqsəd |
|---|---|---|
| Rəqəmsal | Miqyaslandırma/Normallaşdırma | Böyük böyüklüklərdən qərəzliliyin qarşısını almaq |
| Kateqoriyalı | One-Hot Kodlaşdırma | Mətn etiketlərini maşın tərəfindən oxuna bilən fоrmata çevirmək |
| Tarix/Vaxt | Standartlaşdırma | Xronoloji dəqiqliyi təmin etmək |
Rəqəmsal məlumatlar tez-tez miqyaslandırma tələb edir, yəni dəyərlərin sıfırdan birə qədər diapazona çevrilməsi deməkdir. Bu ona görə lazımdır ki, modellər optimal həlləri tapmaq üçün tez-tez qradiyentin enməsindən (gradient descent) istifadə edirlər və xüsusiyyət miqyaslarındakı böyük fərqlər modelin asta və ya səhv yaxınlaşmasına səbəb ola bilər. Kateqoriyalı məlumatlar üçün ‘Mavi’, ‘Qırmızı’ və ‘Yaşıl’ kimi etiketləri rəqəmsal təqdimatlara çevirmək lazımdır. Geniş şəkildə kodlaşdırma adlanan bu proses modelə əvvəlcə təsviri mətn sahələri olan obyektlər üzərində riyazi əməliyyatlar aparmağa imkan verir.
Məlumatların təmizlənməsinə məhəl qoymamağın riskləri nələrdir?
Təmizləmə mərhələsinə məhəl qoymamaq AI layihəsini gözdən sala biləcək bir neçə ümumi problemə gətirib çıxarır. Ən tez-tez rast gəlinən problem son proqnozların biznes məqsədləri ilə məntiqi olaraq uyğun gəlmədiyi ‘zibil girər, zibil çıxar’ (garbage in, garbage out) prinsipidir. Bundan əlavə, təmizlənməmiş məlumatlar qeyri-etik və ya ədalətsiz model nəticələrinə səbəb ola biləcək qərəzləri gizlədə bilər. Əgər təlim məlumatlarınız natamam demoqrafik qeydlərə əsasən müəyyən müştəri seqmentlərinə üstünlük vermək kimi tarixi qərəzlər ehtiva edirsə, AI bu nümunələri öyrənəcək və gücləndirəcək, nəticədə potensial alıcıları uzaqlaşdıran təhrif olunmuş nəticələrə səbəb olacaqdır.
Digər risk zəif məlumat idarəçiliyi tərəfindən yaradılan texniki borcdur. Əgər çaşqın məlumatlar üzərində model qurursunuzsa, çıxışın qüsurlu olduğunu başa düşdükdən sonra bütün sistemi yenidən öyrətməli olacaqsınız. Bu, düzgün ilkin auditlə qənaət edilə bilən vaxtı, hesablama resurslarını və büdcəni sərf edir. İstehsalda sıradan çıxmış modeli düzəltmək demək olar ki, həmişə ilkin təlim quraşdırması zamanı ciddi təmizləmə işçi axınına investisiya qoymaqdan daha baha başa gəlir.
Məlumat гиgienasını qorumaq üçün ən yaxşı təcrübələr
- Zərərli məlumatların verilənlər bazanıza daxil olmasının qarşısını almaq üçün məlumatların daxil edilməsi nöqtəsində avtomatlaşdırılmış təsdiq qaydaları tətbiq edin.
- Keyfiyyətdə drift və ya deqradasiyanı yoxlamaq üçün əsas məlumat dəstlərinizin müntəzəm auditini planlaşdırın.
- Məlumat sxeminizin və təmizləmə prosesi zamanı tətbiq olunan transformasiyaların aydın sənədləşdirilməsini qoruyun.
- Dəyişiklikləri izləyə bilmək və hər hansı təmizləmə qaydası gözlənilməz problemlərə səbəb olarsa əvvəlki hallara qayıda bilmək üçün məlumat dəstləriniz üçün versiya nəzarətindən istifadə edin.
- Təmizləmə meyarlarınızın müəyyən sənaye və ya istifadə halı üçün məna kəsb etməsini təmin etmək üçün sahə mütəxəssisləri ilə əməkdaşlıq edin.
Bu həftə haradan başlamaq lazımdır
Növbəti AI layihəniz üçün istifadə etməyi nəzərdə tutduğunuz bir əsas məlumat dəstini seçməklə başlayın. Uyğun olmayan tarix strukturları və ya çatışmayan dəyərlər kimi ümumi formatlaşdırma xətalarını müəyyən etmək üçün ilk 500 sətrin əllə skan edilməsini həyata keçirin. Bunları müəyyən etdikdən sonra həmin xüsusi sütunlarda toplu təmizləmə aparmaq üçün sadə skript yaradın və ya cədvəl alətindən istifadə edin. Əvvəlcə kiçik bir bölməyə diqqət yetirməklə, modelinizin təliminin möhkəm təməl üzərində başlamasını təmin edərək, daha böyük məlumat dəstlərinizə miqyaslaya biləcəyiniz təkrarlana bilən proses qurursunuz.
Tez-Tez Verilən Suallar
Təlimdən əvvəl nə qədər məlumat təmizləməliyəm?
Xüsusiyyətləri istifadə edilə bilən və nümayəndə etmək üçün lazım olan qədər məlumatı təmizləməlisiniz. Heç bir xüsusi faiz tələb olunmur, lakin çatışmayan hədəf dəyişənləri və ya tamamilə mənasız dəyərlər kimi kritik səhvləri ehtiva edən hər hansı sətirləri silməyi və ya düzəltməyi hədəfləməlisiniz. Kiçik, mükəmməl təmiz məlumat dəsti tez-tez daha böyük, səs-küylü məlumat dəstindən üstün olduğundan, kəmiyyətdən çox keyfiyyətə diqqət yetirin.
Təmizləmə prosesini avtomatlaşdıra bilərəmmi?
Bəli, uzunmüddətli layihələr üçün avtomatlaşdırma vacibdir. Hər dəfə yeni məlumat əlavə edildikdə işləyən standart təmizləmə addımlarını müəyyən etmək üçün Python-da skriptlər yaza və ya ETL alətlərindən istifadə edə bilərsiniz. Bu, keyfiyyətin ardıcıl qalmasını təmin edir və verilənlər bazanız zamanla böyüdükcə tələb olunan əllə səyi azaldır, AI modelinizin performansını sabit saxlayır.
Məlumat dəstim çox kiçikdirsə nə etməliyəm?
Məlumat dəstiniz kiçikdirsə, hər bir qeydin dəqiq olmasını və modelləşdirdiyiniz real dünya ssenarisini əks etdirməsini təmin etməyə diqqət yetirin. Dəstinizi süni şəkildə genişləndirmək üçün məlumatların artırılması (data augmentation) kimi üsulları nəzərdən keçirə bilərsiniz, lakin bu, mövcud məlumatlar hərtərəfli təmizləndikdən sonra edilməlidir. Əgər həmin məlumat da aşağı keyfiyyətlidirsə, daha çox məlumat əlavə etməkdən çəkinin.
Məlumatı silmək, yoxsa daxil etmək (impute) daha yaxşıdır?
Seçim çatışmayan məlumatların miqdarından və xüsusi xüsusiyyətdən asılıdır. Əgər qeyddə hədəf etiket yoxdursa, adətən onu silməlisiniz. Xüsusiyyət sütununda yalnız bir neçə dəyər çatışmırsa, qeydi qorumaq üçün Genellikle daxiletmədən — orta və ya medianı doldurmaqdan istifadə edə bilərsiniz. Əgər sütun əsasən boşdursa, həmin xüsusiyyəti tamamilə tərgitmək daha yaxşıdır.
Məlumatlarımı nə qədər tez-tez təmizləməliyəm?
Məlumatların təmizlənməsi birdəfəlik hadisə deyil, iş axınınızın davamlı hissəsi olmalıdır. Yeni məlumatları daxil etdiyiniz zaman, yeni girişlərin müəyyən edilmiş standartlarınıza uyğun olmasını təmin etmək üçün təmizləmə boru kəmərinizi işə salmalısınız. Müntəzəm yoxlamalar modelinizin sürüşməməsini və proqnozlarınızın dəqiqliyinin biznes məqsədlərinizə uyğun qalmasını təmin edir.
Oxumağa davam et: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması