Ai model kvantlaşdırılması: tərtibatçılar üçün

Əsasında kvantlaşdırma, geniş diapazonlu davamlı üzən nöqtəli dəyərləri daha kiçik, ayrı-ayrı tam ədəd dəyərləri dəstinə çevirən bir xəritələmə prosesidir. Dəyərlərin -1,5-dən 2,5-ə qədər dəyişdiyi bir çəki matrisini təsəvvür edin; kvantlaşdırma, bu rəqəmləri 8-bit təsvir üçün 0-dan 255-ə qədər bir miqyasda xəritələmək üçün bir miqyas və sıfır nöqtəsi müəyyən edir. Bu xəritələmə dəyərlərin diapazon boyunca bərabər yayıldığı xətti və ya ən çox rast gəlinən çəki dəyərlərinə daha çox dəqiqlik verən qeyri-xətti ola bilər. Model nəticə çıxararkən, aparat hesablamaları yerinə yetirmək üçün bu yığcam tam ədədlərdən istifadə edir ki, bu da əksər müasir CPU və GPU-larda əhəmiyyətli dərəcədə daha sürətlidir.

Proses iki əsas komponenti əhatə edir: miqyas faktoru və sıfır nöqtəsi. Miqyas faktoru hər bir tam ədəd arasındakı addımın ölçüsünü müəyyən edən üzən nöqtəli dəyərdir, sıfır nöqtəsi isə orijinal üzən nöqtəli məkanda sıfırın dəyərini təmsil edən tam ədəddir. Nəticə çıxarılarkən, bu parametrlər dəyərləri aktivləşdirmə funksiyaları üçün funksional diapazona geri qaytarmaq üçün istifadə olunur. Riyaziyyat daha aşağı bitli məkanda baş versə də, proqram təminatı yığını çıxışların orijinal modelin məntiqi ilə uyğun qalmasını təmin edir. Bu memarlıq dəyişikliyi müasir AI tətbiqlərində görünən aparat tələblərinin kəskin azalmasına imkan verən şeydir.

Kvantlaşdırmadan istifadə etməyin ən cəlbedici səbəblərindən biri AI ilə işləyən xidmətlər üçün əməliyyat xərclərinin birbaşa azaldılmasıdır. Əgər tərtibatçı bulud nümunələrində bir sıra modelləri işlədirsə, FP16-dan INT8-ə keçmək bəzən eyni aparatda ötürmə qabiliyyətini ikiqat artıra bilər. Bu o deməkdir ki, bir server saniyədə iki dəfə çox sorğunu idarə edə bilər və nəticə çıxarma başına düşən xərci effektiv şəkildə yarıya endirir. AI tövsiyə mühərrikindən istifadə edən Shopify mağazası üçün bu, yüksək səviyyəli GPU nümunəsinə ehtiyac duymaqla xidməti standart CPU əsaslı veb serverdə işlədə bilmək arasında fərq demək ola bilər.

Xərclərdən əlavə, azaldılmış gecikmə vasitəsilə istifadəçi təcrübəsinin kritik amili var. Daha aşağı bitli təsvirlər prosessor və yaddaş arasında daha az məlumat hərəkəti tələb edir ki, bu da çox vaxt dərin öyrənmə performansında əsas darboğazdır. Çəkilər kiçik olduqda, onların daha çoxu prosessorun L1 və ya L2 keşinə sığa bilər, bu da daha sürətli giriş vaxtlarına gətirib çıxarır. Bu, xüsusilə səs köməkçiləri və ya interaktiv çat interfeysləri kimi real vaxt tətbiqlərində nəzərə çarpır, burada hətta 200 millisaniyəlik gecikmə qarşılıqlı əlaqə axınını poza bilər. Kvantlaşdırma, standart aparatda bu saniyədən az cavab müddətlərinə nail olmaq üçün bir yol təqdim edir.

Modeli kvantlaşdırmaq üçün iki əsas yanaşma var: Təlimdən Sonra Kvantlaşdırma (PTQ) və Kvantlaşdırmadan Xəbərdar Təlim (QAT). PTQ tərtibatçılar üçün ən çox yayılmış başlanğıc nöqtəsidir, çünki o, model tam təlim keçdikdən sonra tətbiq olunur. Çəkilər və aktivləşdirmələr üçün optimal diapazonları müəyyən etmək üçün kiçik bir kalibrləmə məlumat dəsti tələb edir. Bu üsul sürətlidir və bütün modeli yenidən təlim etməklə müqayisədə nisbətən az hesablama gücü tələb edir. Llama və ya Stable Diffusion kimi açıq mənbəli modelləri yerləşdirərkən, tam təlim dövrünü yerinə yetirmək üçün resurslarınız olmadıqda PTQ-dən istifadə etmək ümumi bir nümunədir.

Digər tərəfdən, Kvantlaşdırmadan Xəbərdar Təlim, faktiki təlim prosesi zamanı kvantlaşdırmanın təsirlərini simulyasiya etməyi əhatə edir. Model, 8-bit və ya 4-bit dəyərlərə keçərkən baş verən yuvarlaqlaşdırma səhvlərini və dəqiqlik itkisini kompensasiya etməyi öyrənir. QAT daha çox hesablama tələb edən və vaxt aparan olsa da, o, ümumiyyətlə 2-bit və ya 3-bit çəkilərdən istifadə edənlər kimi çox aşağı bitli modellər üçün daha yüksək dəqiqliklə nəticələnir. Dəqiqliyin hər faizinin vacib olduğu kritik tətbiqlərdə işləyən tərtibatçılar, sıxılmadan sonra modelin etibarlı qalmasını təmin etmək üçün çox vaxt QAT-ı seçirlər.

PTQ və QAT iş axınlarının müqayisəsi

• Təlimdən Sonra Kvantlaşdırma: Sürətli tətbiq, yenidən təlim tələb olunmur, 8-bit yerləşdirmə üçün yaxşı işləyir, kiçik kalibrləmə dəsti tələb edir.
• Kvantlaşdırmadan Xəbərdar Təlim: Aşağı bit dərinliklərində daha yüksək dəqiqlik, tam təlim boru kəməri tələb edir, geri yayılma zamanı yuvarlaqlaşdırma səhvlərini simulyasiya edir.
• Yalnız Çəki Kvantlaşdırılması: Yalnız çəkilər sıxılır, aktivləşdirmələr isə daha yüksək dəqiqlikdə qalır, tətbiqi sadələşdirir.
• Statik və Dinamik Kvantlaşdırma: Statik diapazonları əvvəlcədən müəyyən edir, dinamik isə daha yaxşı dəqiqlik üçün nəticə çıxarma zamanı diapazonları uçuşda hesablayır.

Dəqiqliyin azalması təbii olaraq modelin hesablamalarına səs-küy daxil edir ki, bu da dəqiqliyin bir qədər azalmasına səbəb ola bilər. Bu fenomen çox vaxt kvantlaşdırma xətası adlanır. Bir çox hallarda, xüsusilə FP32-dən INT8-ə keçərkən, performansdakı düşüş cüzidir, çox vaxt bir faizdən azdır. Bununla belə, tərtibatçılar 4-bit və ya 2-bit kvantlaşdırmaya doğru irəlilədikcə, xəta daha qabarıq ola bilər. Model kənar halları idarə etmək qabiliyyətini itirməyə başlaya bilər və ya yaradılmış mətnin və ya şəkillərin keyfiyyətində azalma göstərə bilər. Bu itkini ölçmək hər hansı optimallaşdırma iş axınında həyati bir addımdır.

Bu dəqiqlik problemlərini azaltmaq üçün tərtibatçılar müxtəlif kalibrləmə texnikalarından istifadə edirlər. Məsələn, kvantlaşdırma prosesi zamanı nümayəndəlik məlumat dəstindən istifadə etmək alqoritmə girişlərin tipik paylanmasını başa düşməyə kömək edir. Kalibrləmə məlumatları çox dardırsa, kvantlaşdırılmış model müxtəlif real dünya məlumatlarında zəif işləyə bilər. Ümumi bir nümunə, miqyas faktorlarının düzgün qurulduğundan əmin olmaq üçün orijinal təlim məlumatlarının bir alt dəstindən, bəlkə də 100-dən 1000-ə qədər nümunədən istifadə etməkdir. Dil modellərinin çaşqınlığını və ya təsnifatçıların Top-1 dəqiqliyini kvantlaşdırmadan əvvəl və sonra izləmək, modelin istehsal tələblərinə cavab verdiyini təmin etmək üçün standart təcrübədir.

Kvantlaşdırma formatlarının mənzərəsi sürətlə genişlənib, müxtəlif aparat və istifadə halları üçün uyğunlaşdırılmış xüsusi formatlarla. Böyük Dil Modelləri (LLM) üçün GGUF və EXL2 kimi formatlar sənaye standartlarına çevrilib. GGUF CPU əsaslı nəticə çıxarma üçün nəzərdə tutulub və müxtəlif əməliyyat sistemləri arasında yüksək dərəcədə portativdir. O, 4-bit və ya 5-bit kimi çevik kvantlaşdırma səviyyələrinə imkan verir və hər şeyi vahid faylda paketləyir. Yerli aparatdan istifadə edən tərtibatçılar çox vaxt GGUF-a üstünlük verirlər, çünki o, GPU ilə yanaşı sistem RAM-ından istifadə edən llama.cpp və oxşar nəticə çıxarma mühərrikləri ilə səmərəli işləyir.

GPU-ya yönəlmiş yerləşdirmələr üçün AWQ (Aktivləşdirməyə əsaslanan Çəki Kvantlaşdırılması) və GPTQ (Ümumiləşdirilmiş Təlimdən Sonra Kvantlaşdırma) dominant seçimlərdir. AWQ, model aktivləşdirmələrinə töhfə verən ən vacib çəkiləri qorumağa diqqət yetirir ki, bu da 4-bit dəqiqlikdə belə yüksək dəqiqliyi qorumağa kömək edir. GPTQ, çıxış xətasını minimuma endirmək üçün çəkiləri optimallaşdıran köhnə, lakin çox sabit bir üsuldur. Tipik bir hesabda, tərtibatçı eyni vaxtda istifadəçilərin sayını maksimuma çatdırmaq üçün NVIDIA kartları olan yüksək performanslı bulud serverləri üçün AWQ-dən istifadə edə bilər. Bu formatlar vLLM və AutoGPTQ kimi kitabxanalar tərəfindən dəstəklənir və onları mövcud Python əsaslı arxa hissələrə inteqrasiya etməyi asanlaşdırır.