NVIDIA DSX ile Yapay Zeka Fabrikalarında Megavattan Token'a Verimlilik

Şebeke Sinyaliyle Güç Tüketimini Ayarlayan Yapay Zeka Fabrikası

Silicon Valley Power, Ağustos ayında bir sıcak akşamda bir yapay zeka fabrikasına güç tüketimini ayarlaması için sinyal gönderdi. Sinyal, klima yüklerinin arttığı ve güneşin battığı sıcak bir Ağustos akşamında gönderildi. Emerald AI'nın Conductor platformu, şebeke koşulları hakkında sinyaller alır ve veri merkezinin esnek hesaplama iş yüklerini ayarlar. Bekleyebilecek işler yavaşlatılır veya yeniden planlanırken yüksek öncelikli hizmetler çalışmaya devam eder. Amaç, kritik yapay zeka iş yüklerini kesintiye uğratmadan şebeke kısıtlı olduğunda elektrik talebini azaltmaktır.

Conductor, önceden tanımlanmış bir iş yükü hiyerarşisine göre çalıştı: en düşük öncelikli işler bırakıldı ve yüksek öncelikli çıkarım çalışmaya devam etti. Güç dört megavattan üç megavata düştü. Silicon Valley Power bir sinyal gönderdiğinde Conductor bir dakikadan kısa sürede yanıt verir. Silicon Valley Power o yapay zeka fabrikasına 200'den fazla talep sinyali gönderdi. Silicon Valley Power'ın gönderdiği talep sinyalleri her seferinde işe yaradı.

Santa Clara hikayesi bir DSX Flex kurulumu değil, kavramın ticari ölçekte çalıştığının kanıtıdır. NVIDIA'nın Eos yapay zeka fabrikası, Silicon Valley Power'ın Esnek Yük Ara Bağlantı Programı'na katılımcı olarak Emerald AI Conductor'ı çalıştırıyor.

AI Infra Summit'te Verimlilik Odağı ve Lambda Sonuçları

Ian Buck, AI Infra Summit'te yapay zeka fabrikası verimliliğini altyapı açılış konuşmasının merkezine koydu. Ian Buck, NVIDIA'nın hyperscale ve yüksek performanslı hesaplama başkan yardımcısıdır. Lambda, sonuçları AI Infra Summit'te yayınladı.

Lambda'nın sonuçlarına göre sabit bir güç bütçesi, akıllıca yönetildiğinde %24 daha fazla token verimini destekleyebilir. Lambda'nın sonuçları, NVIDIA HGX B200 GPU Sunucularında DSX MaxLPS'nin ilk doğrulamasıdır. Lambda'nın ilk doğrulaması, dağıtım ortamında yapıldı ve sonuçlar aynı gün yayınlandı.

Lambda, 10.000'den fazla müşteriye hizmet veren bir GPU bulut sağlayıcısıdır. Lambda, beş raflı, 19 düğümlü bir küme üzerinde yazılımı çalıştırdı. Lambda, 16 düğümün tam güçteki güç bütçesiyle aynı bütçe içinde 19 düğüm çalıştırarak küme genelinde %24 daha fazla token verimi elde etti. Lambda'nın token verimi saniyede yaklaşık 4 milyon tokendan 5 milyon tokene çıktı. Lambda'da watt başına performans %23 iyileşti. İyileştirme, 19 düğümlü kümenin %85 güç politikasıyla çalıştırılması ve 16 düğümlü tam güç temel alınarak karşılaştırılmasıyla elde edildi. 19 düğüm, %85 güçle, aynı tesis bütçesinde 16 düğümün tam güçteki durumuna kıyasla %24 daha fazla küme token verimi sağladı.

DSX Bileşenleri ve Güç Yönetimi

NVIDIA DSX MaxLPS, yapay zeka fabrikası verimini megavat başına optimize etmek için teknolojiler sunar. NVIDIA DSX MaxLPS, GPU ve raf düzeyinde tüketimi gerçek zamanlı izleyen dinamik güç tahsis yazılımı içerir. DSX MaxLPS, GPU ve raf düzeyinde güç tüketimini izler ve iş yükü türüne göre düğümler arasında boş alanı yeniden tahsis eder. MaxLPS, statik provizyonun atıl bırakacağı kapasiteyi geri kazanır. Eğitim ve çıkarım farklı güç çeker; MaxLPS, her ikisini de çalıştıran yapay zeka fabrikalarında tahsisi optimize eder.

NVIDIA DSX Flex, şebeke sinyallerini alır ve yanıt olarak yapay zeka iş yükü önceliklerini uyarlar. NVIDIA DSX OS, yapay zeka fabrikası yaşam döngüsü yönetimi için açık kaynaklı, modüler bir yazılımdır. NVIDIA DSX Sim, operatörlerin fiziksel dağıtımdan önce fabrika tasarımlarını modellemesine ve doğrulamasına olanak tanır. NVIDIA DSX Referans Tasarımları, NVIDIA'nın ekosistem ortaklarıyla birlikte tasarlanmış, nesile özgü, doğrulanmış mimariler sunar. NVIDIA DSX, Mayıs ayında GTC Taipei'te tanıtıldı.

Gelecek Nesil Güç Mimarisi ve Vera Rubin

NVIDIA'nın 800 VDC mimarisi, dönüşüm karmaşıklığını azaltmak ve güç dağıtım verimliliğini artırmak için tasarlanmıştır. NVIDIA DSX, 800V DC'yi referans tasarımlarına dahil ediyor. NVIDIA Blog, nVIDIA'ya göre 800V DC mimarisi, 54V dağıtıma kıyasla %3-5 uçtan uca verimlilik kazancı sağlar ve Vera Rubin NVL72 ile 2027'de sunulacaktır bilgisini paylaşıyor.

NVIDIA Blog, nVIDIA'nın projeksiyonlarına göre DSX MaxLPS, uygun dağıtım ortamlarında aynı megavat güç bütçesi içinde yeni nesil Vera Rubin NVL72 yapay zeka fabrikaları için %40'a kadar daha fazla GPU kapasitesi sağlayabilir bilgisini paylaşıyor. Manassas, Virginia tesisi 96 megavatlık bir Vera Rubin yapay zeka fabrikasıdır. Doğrudan sıvı soğutmalı GB200 NVL72 rafları, güç hesaplamaya ulaşmadan önce bir yere gitmesi gereken yaklaşık 120 kW ısı taşır.