Ölçekte yapay zekâ mühendisliği: HELIXX 4U8G | EPYC CX8 içinde ConnectX-8

Kurumsal bilişim bir kırılma noktasında. 27 yıldır profesyonel iş istasyonu ve sunucu tasarlıyoruz; CPU ölçeklemesinden GPU hızlandırmaya kadar her büyük platform değişimini gördük.

Öne çıkanlar

• Özel üretilmiş yapay zekâ mimarisi: HELIXX 4U8G | EPYC CX8, çift AMD EPYC™ 9005 serisi işlemciyi ve sekiz GPU desteğini, veri hareketinin gerçek performansı belirlediği hiperölçek yapay zekâ ve HPC için tasarlanmış 4U bir platformda birleştiriyor.
• Tümleşik SuperNIC™ + PCIe Gen6 omurgası: NVIDIA ConnectX®-8, 400 Gb/sn ağı, PCIe Gen6 anahtarlamayı ve akıllı boşaltmaları tek mimaride birleştirerek GPU’dan GPU’ya ve GPU’dan ağa iletişimi sadeleştiriyor.
• Ölçekte dağıtık eğitim için optimize: Yüksek bant genişlikli InfiniBand® ve Ethernet desteği, düşük gecikme ve tıkanıklık denetimi, büyük dil modelleri ve veri yoğun iş yükleri için verimli çok düğümlü ölçeklemeyi mümkün kılıyor.
• Daha az karmaşıklıkla daha yüksek verim: Anahtarlama ve ağı NVIDIA MGX® PCIe Switch Board içinde birleştiren platform, bileşen sayısını azaltıyor, CPU yükünü düşürüyor; güç, soğutma ve uzun vadeli ölçeklenebilirliği iyileştiriyor.

Yapay zekâ altyapısı yüksek GPU yoğunluğundan fazlasını istiyor. Verinin CPU’lar, GPU’lar ve ağ dokusu arasında tam hızda akmasını sağlayan bir mimari istiyor. BOXX’un HELIXX 4U8G | EPYC CX8’i tam da bu ortam için üretildi.

NVIDIA ConnectX®-8 SuperNIC™ nedir?

NVIDIA ConnectX-8 SuperNIC alışıldık bir ağ arabirim kartı değil. Çok yüksek hızlı ağı, PCIe anahtarlamayı ve akıllı veri işlemeyi tek bir mimaride birleştirmek üzere tasarlanmış yeni nesil bir SuperNIC.

ConnectX-8, dağıtık yapay zekâ eğitimi ve büyük ölçekli HPC iş yüklerinin gerektirdiği bant genişliğini sunarak 400 Gb/sn’ye kadar InfiniBand ve Ethernet destekliyor. Yerel PCIe Gen6 desteğiyle üretilmiş ve PCIe anahtar omurgasını doğrudan cihaz üzerine entegre ediyor.

“SuperNIC” terimi yalnızca aktarım hızını anlatmıyor. ConnectX-8, CPU yükünü azaltan ve doku genelinde veri hareketini optimize eden akıllı boşaltma ve tıkanıklık denetimi yetenekleri içeriyor. Pasif bir uç nokta gibi davranmak yerine trafiği, yönlendirmeyi ve iletişim verimliliğini etkin biçimde yönetiyor.

• Belirgin biçimde daha yüksek ağ verimi
• Cihaz içinde tümleşik PCIe yönlendirme
• Yapay zekâ ve RDMA iş yükleri için gelişmiş boşaltma motorları

Modern yapay zekâ altyapısında ağ artık GPU performansının gerisinde ikincil bir konu değil. Ölçekleme verimliliğini veri hareketi belirliyor.

HELIXX 4U8G | EPYC CX8 içindeki rolü

HELIXX 4U8G | EPYC CX8 içinde ConnectX-8 bağımsız bir ağ kartı olarak konumlanmıyor. Her biri iki GPU’ya hizmet eden dört ConnectX-8 kartını ve 48 şeritli bir PCIe Gen6 anahtarını bütünleştiren 8 GPU’luk arka panel olan NVIDIA MGX PCIe Switch Board’un parçası olarak çalışıyor. Bu, geleneksel sunucu tasarımlarındaki ayrık PCIe anahtar kartlarının ve bağımsız ağ kartlarının yerini kart düzeyinde birleşik bir mimariyle alıyor.

Bu mimari değişim, sistem içindeki veri hareketini değiştiriyor. Ayrık PCIe anahtarlarına ve ayrı ağ adaptörlerine dayanmak yerine anahtarlama ve ağ tek bir tutarlı omurgada birleşiyor. Sonuçta çift AMD EPYC 9005 işlemci, sekiz GPU ve dış doku arasında daha doğrudan bir yol oluşuyor:

• Daha iyi GPU’dan GPU’ya iletişim
• Daha hızlı GPU’dan ağa aktarım
• PCIe yolları boyunca azaltılmış gecikme
• Daha az ayrık bileşenle sadeleşmiş kart tasarımı

Gerçek yapay zekâ iş yüklerinde kazanç

400 Gb/sn’ye varan InfiniBand bant genişliği, büyük ölçekli dağıtık eğitimi ve yüksek verimli yapay zekâ iletişimini mümkün kılıyor. Çok düğümlü kurulumlarda ağ verimi doğrudan ölçekleme verimliliğini etkiliyor. Büyük dil modeli eğitimi, model paralelliği ve eşzamanlı gradyan güncellemeleri düğümler arasında tutarlı ve yüksek bant genişlikli iletişim istiyor. Hem InfiniBand hem Ethernet desteği, ister HPC dokusuna ister bulut ölçeğinde Ethernet ortamına entegre olun, mimari ödün vermeden esneklik sağlıyor.

ConnectX-8, NVIDIA MGX PCIe Switch Board içinde yerel bir PCIe Gen6 anahtar omurgası barındırıyor. GPU trafiği, ayrık PCIe anahtarlarına dayanan tasarımlara kıyasla daha düşük gecikmeyle ve daha yüksek toplam verimle işleniyor. Sekiz GPU’lu yapılandırmalarda iç bant genişliği, dış ağ hızı kadar önemli.

Ağır yapay zekâ ve HPC iş yükleri geleneksel ağ yığınlarını boğabilir. ConnectX-8, trafiği donanım düzeyinde yönetmek için akıllı boşaltma ve tıkanıklık denetimini bütünleştiriyor. CPU yükünü azaltarak ve RDMA performansını optimize ederek sistem, sürekli çok düğümlü yük altında bile verimini koruyor.

Verimlilik ve ölçeklenebilirlik

Geleneksel yüksek yoğunluklu GPU sunucuları birden çok ayrık PCIe anahtarı ve ayrı ağ adaptörü gerektirir. ConnectX-8’li NVIDIA MGX PCIe Switch Board anahtarlama ve ağı tek bir tasarımda birleştiriyor. Daha az bağımsız cihaz, yönlendirme karmaşıklığını azaltıp kart yerleşimini sadeleştiriyor; bu da sinyal bütünlüğünü ve sistem güvenilirliğini iyileştiriyor.

Sekiz GPU’lu 4U bir sunucuda ısıl ve güç verimliliği kritik. Anahtarlama ile ağın birleştirilmesi bileşen sayısını azaltıyor ve hava akışı yollarını optimize ediyor. Raf yoğunluğunu ve watt başına performansı önceleyen veri merkezleri için bu verimlilik doğrudan toplam sahip olma maliyetine yansıyor.

Yapay zekâ altyapısı hızla evriliyor; ağ standartları ilerliyor, hızlandırıcı gereksinimleri artıyor. ConnectX-8 hem InfiniBand hem Ethernet destekliyor ve donanım yazılımı ile yazılım güncellemeleriyle uyum sağlayacak biçimde tasarlandı. Ölçeklenebilirlik yalnızca düğüm eklemek değil; kümeler büyürken performans tutarlılığını korumaktır.

Sonuç

HELIXX 4U8G | EPYC CX8’de ağ temel bir bileşendir. ConnectX-8 yüksek hızlı bir ağ adaptöründen fazlası; platformun GPU dokusunun omurgası olarak çalışıyor ve PCIe Gen6 anahtarlamayı, 400 Gb/sn ağı ve akıllı trafik yönetimini tek mimaride birleştiriyor. Yapay zekâ altyapısında gerçek performansı ölçekleme verimliliği belirler; yalnızca GPU işlem gücü yetmez, verinin öngörülebilir biçimde ve ölçekte hareket etmesi gerekir.