Yapay zekâ geliştirme

Yapay zekâ geliştirmede belirleyici bileşen ekran kartı belleğidir. Model ağırlıkları, optimizasyon durumu ve ileri geçişte biriken ara katman çıktıları aynı anda VRAM’de durmak zorundadır; sığmadığında eğitim yavaşlamaz, doğrudan bellek hatasıyla durur. Bu yüzden yapılandırmaya her zaman VRAM’den başlanır: düşük ranklı ince ayar (LoRA benzeri yöntemler) orta boy modellerde 24GB sınıfı kartlarla yürür, tam ince ayar ve uzun bağlam pencereleri 48GB ve üzerini ister.

İki küçük kart yerine tek büyük kart tercih edilir. Model tek kartın belleğine sığdığında iş, kartlar arası bölme (model paralelliği) karmaşıklığından ve iletişim gecikmesinden kurtulur. Birden çok kart asıl değerini aynı anda birden çok denemeyi bağımsız yürütürken gösterir — her kart ayrı bir hiperparametre kombinasyonunu çalıştırır.

İşlemcinin görevi ekran kartını aç bırakmamaktır. Veri okuma, çözme ve dönüştürme adımları CPU’da koşar; yavaş bir veri hattı, pahalı kartı beklemeye alır. Bu iş için çekirdek sayısından çok PCIe kapasitesi kritiktir: her karta tam x16 bağlantı verebilen Threadripper™ PRO veya Xeon® sınıfı platformlar gerekir, tüketici anakartlarının şerit bütçesi ikinci karttan sonra biter.

Sistem belleği için pratik kural, toplam VRAM’in iki katıdır; veri kümesi ön işleme ve önbellekleme bu alanda yaşar. Depolamada tek bir büyük NVMe yerine ayrım önerilir: veri kümesi için yüksek IOPS’lu bir disk, ara kayıtlar (checkpoint) için sıralı yazma hızı yüksek ikinci bir disk. Eğitim saatlerce kesintisiz tam yükte çalıştığı için soğutma ve güç bütçesi de tasarımın parçasıdır; kısa süreli kıyaslama testini geçen bir sistem, on iki saatlik eğitimde ısıl sınırlamaya girebilir.