NVIDIA, 120 milyar parametreli açık model Nemotron 3.5 Super VL'yi yayımladı
NVIDIA, 120 milyar parametreli açık modeli Nemotron 3.5 Super VL ile iki uç model Nemotron 3.5 Bolt 74B-A9B 24GB ve Nemotron 3.5 Bolt E4B 4GB'yi duyurdu. Super VL, sınıfında 5 kata kadar daha hızlı işlem hacmi ve yaklaşık beşte biri parametre sayısıyla karşılaştırılabilir doğruluk sunuyor; kuruluşlar modeli kendi verileriyle sonradan eğitip kendi altyapılarında çalıştırabiliyor.
NVIDIA, Nemotron 3.5 Super VL'yi yayımladı
NVIDIA, 120 milyar parametreli açık model Nemotron 3.5 Super VL'yi yayımladı. Şirket aynı duyuruda iki yeni uç modeli de tanıttı: Nemotron 3.5 Bolt 74B-A9B 24GB ve Nemotron 3.5 Bolt E4B 4GB.
Super VL ve Bolt 74B-A9B şu anda kullanılabilir durumda. Bolt E4B modelinin ise 23 Ekim'de gelmesi bekleniyor.
Super VL'nin eğitim ve performans özellikleri
Nemotron 3.5 Super VL, ön eğitim ve sürekli ön eğitim boyunca yaklaşık 26 trilyon token üzerinde eğitildi. Model ayrıca yaklaşık 3,8 milyon örnek ve düzinelerce ortamda pekiştirmeli öğrenme ile sonradan eğitildi.
NVIDIA Blog, nVIDIA'ya göre Super VL'nin Artificial Analysis Intelligence Index liderlik tablosunda sınıfındaki diğer modellere kıyasla 5 kata kadar daha hızlı işlem hacmi elde ettiğini paylaşıyor. Blog ayrıca modelin sınıfındaki en hızlı açık ajanik model olduğunu ve bir sonraki en iyiden 5 kat daha hızlı olduğunu belirtiyor. Bu 5 kat hızlanmanın, kurumsal ajanların günler veya haftalar süren iş akışlarında yüksek hacimli görevleri daha hızlı tamamlamasına yardımcı olduğu ifade ediliyor.
NVIDIA Blog, nVIDIA'ya göre Super VL, NVIDIA'nın en büyük akıl yürütme modeliyle karşılaştırılabilir doğruluğu yaklaşık beşte biri parametre sayısıyla sunuyor. Blog, modelin NVIDIA Dynamo üzerinde çalıştırıldığında kuruluşların 8 kata kadar daha fazla kullanıcıya yüzde 85 daha düşük gecikmeyle hizmet verebileceğini de paylaşıyor.
Kurumsal kontrol, özelleştirme ve görsel-dil yetenekleri
Kuruluşlar Super VL'yi kendi verileriyle sonradan eğitebiliyor ve kendi altyapılarında dağıtabiliyor. Model, kuruluşların güvenlik ve veri ikametgahı gereksinimlerinin gerektirdiği yerde çalıştırılabiliyor. Model açık ağırlıklar, açık veri kümeleri ve eğitim tarifleriyle birlikte sunuluyor. Özelleştirme, NVIDIA NeMo, Python tabanlı ardışık düzenler ve açık veri kümeleri aracılığıyla destekleniyor.
Super VL'nin görsel-dil güçleri optik karakter tanıma, tablolar, grafikler ve görsel belgelerdeki yapılandırılmış bilgilere odaklanıyor. Model bir web sayfasını işliyor, metni çıkarıyor, grafik ve çizelgeleri okuyor ve bulgularından içgörüler döndürüyor. Metin ve görsel anlamayı tek modelde birleştirmek, ajanların görevleri ayrı sistemler arasında yönlendirmesini gereksiz kılıyor; bağlam belgeden veriye ve karara geçerken korunuyor.
NVIDIA NIM, modeli performans için optimize edilmiş, doğrulanmış yapılandırmalar ve kurumsal düzeyde destekle üretime hazır bir mikro hizmet olarak paketliyor. NIM, güvenlik yamaları ve performans iyileştirmeleriyle iki haftada bir yenileniyor.
Modele özel kullanım örnekleri arasında sigortacılıkta tekrar eden sahtekarlık işaretleri için talepleri tarayan özelleştirilmiş bir ajan ile finansal hizmetlerde kredi puanlarını inceleyip kuruluşun kendi kredi kriterlerine göre faaliyeti işaretleyen bir ajan yer alıyor.
Bolt modelleri: yerel ve uç cihazlar için
Nemotron 3.5 Bolt 74B-A9B 24GB, yerel ajanik iş yükleri için GB başına zeka ve hız dengesi optimize edilerek tasarlandı. Model, 24GB belleğe sığmak için yerel 2-bit niceleme kullanıyor ve NVIDIA RTX/DGX Spark üzerinde yerel olarak çalışacak şekilde tasarlandı.
Nemotron 3.5 Bolt E4B 4GB ise hızlı konuşma ajanları için GB başına zeka optimize edilerek tasarlandı. Model, GeForce RTX, Jetson ve RTX/DGX Spark üzerindeki fiziksel ve konuşma ajanları için tasarlandı.
Kullanılabilirlik ve donanım desteği
Nemotron 3.5 Super VL şu anda Hugging Face, Open Router, ModelScope community ve NVIDIA NIM üzerinde kullanılabiliyor. Model DGX Spark, DGX Station, RTX PRO ve RTX sistemlerinde, uçta NVIDIA Jetson üzerinde ve veri merkezi ile bulut ortamlarında çalışıyor.
Nemotron 3.5 Bolt 74B-A9B 24GB şu anda Hugging Face üzerinde kullanılabiliyor ve llama.cpp, Ollama, LM Studio, Unsloth ve vLLM destekliyor. Model GeForce RTX PC'lerde, DGX Spark'ta, DGX Station'da ve RTX PRO iş istasyonlarında çalışıyor.
Kuruluşların özelleştirme ve entegrasyon çalışmaları
Scale AI, modeli EY'nin birleşme ve satın alma durum tespiti ajanı ile Skydance'ın tedarikçi kredi finans ajanı için sonradan eğitti. AfterQuery, modeli Hebbia için kredi sözleşmesi analizi amacıyla özelleştirdi. AI21 ve Alice, modeli siber güvenlik saldırı dayanıklılığı için sonradan eğitti. Mercor ise modeli APEX-SWE kodlama kıyaslaması üzerinde sonradan eğitti.
ModelScope, geliştiricilerin ms-swift çerçevesi aracılığıyla modeli ince ayar yapmasını sağlıyor. Atlassian, Jira ve Confluence gibi uygulamalar arasında ajanik arama gibi görevler için Nemotron 3.5 Super VL'yi entegre eden platform şirketleri arasında yer alıyor. CrowdStrike, modeli kurumsal güvenlikte ajanik mavi takım çalışması için özelleştiriyor. Dassault Systèmes, mühendislik tasarımı ve simülasyonunu modelle destekliyor. Perplexity, Perplexity Search ve Computer içindeki arama ve ajanik görevler için modeli kullanıyor. Salesforce ise Missionforce Operations aracılığıyla güvenli müşteri ortamlarında karmaşık devlet iş akışlarını dijitalleştiren ve otomatikleştiren yapay zeka ajanlarını güçlendirmek için Nemotron'u özelleştiriyor. Synopsys'in yarı iletken tasarım doğrulama yazılımı da modelle birlikte çalışıyor.
NVIDIA, Hugging Face üzerinde ajanik araç kullanımı, finans, talimat takibi, uzun bağlam, adalet ve görsel-dil anlama kapsayan açık veri kümeleri yayımlıyor.
Öte yandan NVIDIA RTX Spark dizüstü bilgisayarlarının 16 Ekim'de gelmesi bekleniyor. NVIDIA CEO'su Jensen Huang'ın GTC Berlin açılış konuşması ise 21 Ekim Çarşamba günü saat 11.00-13.00 CEST'te yapılacak.
