Yerel LLM’ler için AI altyapısı donanım gereksinimleri, yeterli VRAM, yüksek hızlı bellek bant genişliği ve ölçeklenebilir depolama çözümlerine sahip GPU’ların seçilmesine odaklanır. Bir modeli yerel olarak dağıtmak, donanım kapasitesinin belirli model boyutuna, nicelik seviyesine ve beklenen çıkarım gecikmesine eşleştirilmesini gerektirir. Yerel kurulumlar bulut API’lerine olan bağımlılığı ortadan kaldırdığı için işletmeler, ilk sermaye harcamalarını ve bu sistemlerin gün boyunca verimli çalışmasını sağlamak için gereken fiziksel sunucu birimlerinin, soğutma sistemlerinin ve güç kaynağı birimlerinin uzun vadeli bakımını planlamalıdır.
Şirketler neden yerel LLM barındırmayı düşünmelidir?
Büyük dil modellerini yerel olarak çalıştırmak, kuruluşların özel verileri üzerinde tam kontrol sahibi olmalarını sağlar ve hassas bilgilerin harici bulut sağlayıcılarına iletilmesi ihtiyacını ortadan kaldırır. Bu yaklaşım, veri gizliliği düzenlemelerinin katı olduğu ve uyumluluğun zorunlu olduğu finans, hukuk ve sağlık gibi sektörlerde yaygındır. Altyapıyı kendi veri merkezinizde tutarak, üçüncü taraf veri işleme ile ilişkili riskleri ortadan kaldırırsınız. Ayrıca, yerel dağıtımlar, ilk donanım ayarlandıktan sonra tahmin edilebilir bir performans profili sağlar, çünkü genel bulut çıkarım API’lerinde sıklıkla bulunan değişken gecikmelere veya hız sınırlarına tabi değilsiniz.
Bir diğer faktör zaman içindeki maliyet yapısıdır. Bulut hizmetleri token başına ücret alırken, yerel donanım önemli bir ön yatırım ve ardından sabit elektrik ve soğutma maliyetleri gerektirir. Sürekli olarak yüksek hacimde çalışan iş yükleri için, toplam sahip olma maliyeti genellikle dahili donanımla daha uygun hale gelir. Ayrıca, yönetilen bulut platformlarında bulunmayabilecek veya izin verilmeyebilecek belirli yazılım yığınlarını ve özel ayarlama yöntemlerini seçme özgürlüğü kazanırsınız. Özel bir ortam oluşturmak, operasyonel iş akışınızın harici hizmet kesintileri veya sağlayıcı fiyatlandırma modellerindeki ani değişikliklerden kesintiye uğramamasını sağlar.
Yerel LLM’ler için birincil GPU gereksinimleri nelerdir?
Grafik işleme birimi, AI altyapınızın motorudur. LLM’leri çalıştırırken en kritik özellik Video RAM (VRAM) kapasitesidir. 70 milyar parametreli olanlar gibi daha büyük modeller, model ağırlıklarını yüklemek için önemli miktarda VRAM gerektirir ve çıkarım sırasında bağlam penceresi için ek alana ihtiyaç duyulur. Genel bir kural, bir kümedeki tüm GPU’lardaki toplam VRAM’inizin, anahtar-değer önbelleklerini ve ara aktivasyonları hesaba katmak için model ağırlıklarının boyutunu en az yüzde 20 oranında aşmasını sağlamaktır. Yeterli VRAM’iniz yoksa, sistem verileri sistem RAM’ine boşaltmaya çalışacaktır, bu da önemli ölçüde daha yavaştır ve performansı düşürecektir.
Ham belleğin ötesinde, bellek bant genişliği çıkarım hızı için darboğazdır. Üst düzey kurumsal kartlar tercih edilir çünkü bunlar, modelin verileri bellekten işleme çekirdeklerine daha hızlı taşımasını sağlayan HBM (Yüksek Bant Genişlikli Bellek) veya gelişmiş GDDR arayüzlerini kullanır. Donanım seçerken, NVIDIA ortamları için CUDA veya AMD için ROCm gibi seçtiğiniz derin öğrenme çerçevesinin gerektirdiği belirli komut setlerini destekleyen kartları arayın. Standart bir 7B parametreli model için tek bir üst düzey tüketici kartı yeterli olabilir, ancak daha büyük modeller veya ince ayar görevleri için, birimler arasındaki iletişim gecikmesini önlemek için yüksek hızlı ara bağlantılar kullanarak birden fazla GPU’yu kümelemeniz gerekecektir.
AI iş yükleri için sistem RAM’i ve depolama nasıl boyutlandırılır?
GPU hesaplamayı yönetse de, ana bilgisayar sistemi veri hareketini destekleyecek şekilde yapılandırılmalıdır. Sistem RAM’i, ön işleme veya ince ayar sırasında hızlı yüklemeye ve büyük veri kümelerinin işlenmesine izin vermek için genellikle model ağırlıklarının boyutunun en az iki katı olmalıdır. Sadece çıkarım çalıştırmak yerine modelleri eğitiyorsanız veya ince ayar yapıyorsanız, bu gereksinim önemli ölçüde artar. Yetersiz RAM’e sahip bir sistem sık sık diske takas yapacak ve tüm hattın durmasına neden olacaktır. Anakartınızın çok kanallı bellek yapılandırmalarını desteklediğinden emin olmak, CPU’nun GPU’ya veri besleme hızını en üst düzeye çıkarmaya yardımcı olacaktır.
Depolama gereksinimleri genellikle hafife alınır. Model yükleme sürelerinin en aza indirilmesini sağlamak için NVMe SSD depolamaya ihtiyacınız vardır. 50 GB’lık bir modeli geleneksel bir sabit diskten yüklemek dakikalar sürebilirken, yüksek hızlı bir NVMe sürücüsü bunu saniyelere indirir. Ayrıca, veri kümeleriniz, günlükleriniz ve kontrol noktalarınız için gereken depolamayı da göz önünde bulundurun. Tipik bir kurulum, yedeklilik için bir RAID yapılandırması içermelidir, çünkü ince ayarlı bir modelin veya kritik bir eğitim veri kümesinin kaybı büyük bir aksilik olabilir. Yoğun okuma/yazma işlemleri sırasında kararlılığı ve performansı korumak için işletim sisteminizi verilerinizden ayrı bir sürücüde tutun.
Bir AI iş istasyonu veya sunucusu için temel bileşenler
- Giriş seviyesi görevler için en az 24 GB VRAM’li yüksek performanslı GPU.
- Veri ön işleme ve paralel görevleri yönetmek için yüksek çekirdek sayılı CPU.
- Darboğazları önlemek için minimum 64 GB ila 128 GB sistem RAM’i.
- Model depolama ve veri kümeleri için en az 2 TB kapasiteli NVMe SSD’ler.
- Tüm GPU’ların birleşik tepe çekimi için derecelendirilmiş güvenilir güç kaynağı birimi (PSU).
- Yüksek performanslı bileşenlerin önemli ısı çıkışını yönetmek için yüksek hava akışlı kasa.
Veri merkezinizdeki termal ve güç kısıtlamalarını nasıl yönetirsiniz
AI iş yükleri güç yoğundur ve önemli miktarda ısı üretir. Fiziksel alanınızı planlarken, sunucu raflarınızın toplam watt değerini hesaba katmalısınız. Üst düzey GPU’lar her biri yüzlerce watt çekebilir ve birden fazla kartı tam yük altında çalıştırmak özel güç devreleri gerektirecektir. Standart bir ofis prizi, çok GPU’lu bir sunucu için genellikle yetersiz kalacaktır. Tesisinizin elektrik altyapısının, donanımınızın termal kısıtlanmasını önlemek için gerekli olan soğutma sistemleri için gereken güç de dahil olmak üzere, amaçlanan kurulumunuzun tepe amperini kaldırabileceğinden emin olmalısınız.
Termal yönetim de aynı derecede önemlidir. GPU’lar aşırı ısındığında, fiziksel hasarı önlemek için saat hızlarını otomatik olarak düşürürler, bu da çıkarım veriminde gözle görülür bir düşüşe neden olur. Rafınızın veya sunucu muhafazanızın yeterli giriş ve çıkış hava akışı sağladığından emin olun. Bazı durumlarda, GPU’ları optimum çalışma sıcaklığı aralığında tutmak için sıvı soğutma uygulamanız gerekebilir. İzleme araçları, bileşen sıcaklıklarını gerçek zamanlı olarak takip etmeye yardımcı olabilir, bu da performans kabul edilemez bir seviyeye ulaşmadan önce fan hızlarını veya iş yüklerini ayarlamanıza olanak tanır. Kasa içindeki net hava akışı yollarını korumak için uygun kablo yönetimi de gereklidir.
Alien Road AI altyapısı bilgisini nasıl uygular
Alien Road’da, müşterilerin belirli iş hedeflerini uygun donanım yapılandırmalarıyla eşleştirmelerine yardımcı oluyoruz. Beklenen çıkarım sıklığını, model boyutunu ve gecikme gereksinimlerini analiz ederek tek sunuculu bir kurulumun mu yoksa çok düğümlü bir kümenin mi gerektiğini belirleyerek başlıyoruz. Örneğin, özel müşteri destek botları çalıştırması gereken bir şirket için tipik bir çalışmada, GPU maliyetini eşzamanlı kullanıcı isteklerini işlemek için gereken VRAM ile dengelemeye odaklanıyoruz. Hedef yanıt sürelerine ulaşmak için gereken donanım özelliklerini belgeliyoruz ve müşterinin gelecekteki model güncellemeleri için bir tampon korurken gereksiz bileşenlere fazla harcama yapmamasını sağlıyoruz.
Sürecimiz ayrıca, kaynak tahsisini yönetmek için Docker konteynerleri veya Kubernetes kümeleri kurmak gibi yazılım ortamları hakkında rehberlik sağlamayı da içerir. Ekibin donanım sağlığını izlemek için izleme panolarını yapılandırmasına yardımcı oluyor, model yükü değiştikçe altyapının kararlı kalmasını sağlıyoruz. Pratik, ölçeklenebilir donanım seçimlerine odaklanarak, mevcut görevleri destekleyen ve gelecekteki proje büyümesi için esnek kalan bir temel sağlamayı amaçlıyoruz. Dağıtım aşamasında uyumluluk sorunlarını önlemek için tüm sürücülerin ve bağımlılıkların donanımla doğru şekilde eşleştirildiğini doğrulayarak temiz bir kurulum sürecini vurguluyoruz.
Donanım tedarik süreciniz için kontrol listesi
- VRAM gereksinimlerini tahmin etmek için mevcut ve gelecekteki model parametre boyutlarını denetleyin.
- Belirlenen sunucu konumundaki güç kullanılabilirliğini ve soğutma kapasitesini doğrulayın.
- Farklı satıcı seçenekleri için GPU bellek bant genişliği özelliklerini karşılaştırın.
- Daha sonra daha fazla GPU eklemeyi planlıyorsanız genişlemeye izin veren bir kasa seçin.
- Seçilen derin öğrenme çerçevesi ile GPU mimarisi arasındaki uyumluluğu test edin.
- Tozu temizlemek ve termal macunu düzenli olarak kontrol etmek için bakım pencereleri planlayın.
Bu hafta nereden başlamalı
AI altyapısı planlamanıza, çalıştırmayı düşündüğünüz modellerin bir listesini ve bunların ilgili bellek ayak izlerini oluşturarak başlayın. Önerilen VRAM gereksinimlerini bulmak için bu modellerin teknik belgelerine başvurun. Bu temel çizgiye sahip olduğunuzda, güç ve soğutma sistemlerinizin gerekli donanımı destekleyip destekleyemeyeceğini görmek için mevcut fiziksel ortamınızı değerlendirin. Kuruluşunuz yerel AI konusunda yeniyse, doğrudan tam bir raf kurulumuna atlamak yerine tek bir yüksek performanslı iş istasyonu ile başlamayı düşünün. Bu, büyük ölçekli sermaye yatırımlarına girişmeden önce yerel çıkarım, sıcaklık izleme ve yazılım yığını yönetimi ile deneyim kazanmanızı sağlar.
Zaten bir sunucu odanız varsa, mevcut güç dağıtım birimlerinizin aynı anda kaç yüksek çekişli cihazı güvenli bir şekilde yönetebileceğini görmek için kontrol edin. Yüksek performanslı bilgi işlem ekipmanı eklemenin çevresel etkisini tartışmak için BT veya tesis yöneticinizle iletişime geçin. Özel bir çıkarım sunucusu için bir rafta tek bir raf tanımlamak gibi küçük bir adım bile proje gereksinimlerinizi netleştirmeye yardımcı olur. Bu belirli, yönetilebilir adımlara odaklanarak, gereksiz karmaşıklık veya boşa harcanan yatırım olmadan operasyonel ihtiyaçlarınızı karşılayan güvenilir bir yerel AI altyapısına giden net bir yol inşa edersiniz.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu