OpenAI'nin GPT-6 Astra Ultrafast modeli NVIDIA Blackwell GPU'larıyla kullanıma açıldı
OpenAI'nin GPT-6 Astra Ultrafast modeli NVIDIA Blackwell GPU'ları üzerinde çalışıyor ve OpenAI API'de kullanıma sunuldu. Uygun ChatGPT Work ve Codex kullanıcılarının da erişebildiği model, Astra Standard moduna kıyasla 8 katına kadar daha hızlı token üretimi sağlıyor. OpenAI, dağıtım sonrası optimizasyonlar için kendi iç modellerini NVIDIA GPU'larında çıkarım yazılımını iyileştirmek amacıyla kullanıyor.
GPT-6 Astra Ultrafast, NVIDIA Blackwell GPU'ları üzerinde çalışıyor ve OpenAI API'de kullanıma sunuldu. Model, aynı zamanda uygun ChatGPT Work ve Codex kullanıcılarının erişimine açıldı. Geliştiriciler GPT-6 Astra Ultrafast'ı API üzerinden kullanabiliyor.
Blackwell GPU'larında Astra Standard'a göre 8 kata kadar hızlı token üretimi
OpenAI'nin modelleri üzerinden yürütülen ve NVIDIA Blackwell mimarisinin yeteneklerinden yararlanan çıkarım (inference) optimizasyonları, Ultrafast'ı hızlandırıyor. Bu optimizasyonlarla model, Astra Standard moduna kıyasla 8 katına kadar daha hızlı token üretimi sunuyor.
Geliştiriciler açısından daha hızlı üretim, kodlama ajanlarının düzenle-test et-hata ayıkla döngülerini kısaltabiliyor, araç çağrıları arasında yanıt üretmek için harcanan süreyi azaltabiliyor ve etkileşimli uygulamaların daha duyarlı hissedilmesini sağlayabiliyor. Kaynağa göre hızlı yanıt en çok bir iş akışı içinde tekrarlandığında önem kazanıyor: bir ajan kod yazıyor, bir araç kullanıyor, sonucu kontrol ediyor ve ne yapacağına karar veriyor. Ultrafast, Astra'nın yeteneklerini bu zamana duyarlı döngülere taşıyor. NVIDIA yapay zeka altyapısı, OpenAI'nin geliştiricilerin ihtiyaç duyduğu anda daha faydalı model çıktıları sunmasına yardımcı oluyor.
OpenAI'den Philippe Tillet ve Uday Ruddarraju'nun değerlendirmeleri
OpenAI'de çıkarım lideri Philippe Tillet, "NVIDIA'nın araç ve dokümantasyona yaptığı derin yatırım, modellerimizi Blackwell ve Rubin GPU'ları programlamada son derece iyi hale getirmemizi sağladı" dedi. Tillet, "Astra bu bilgiyi, NVIDIA donanımını gecikme, verim ve maliyet cephesinin tamamında cazip kılan yüksek performanslı çekirdeklere dönüştürebiliyor. Astra Ultrafast ile bu, ajanlar kod yazarken, araç kullanırken ve karmaşık görevler üzerinde çalışırken daha hızlı model yanıtları anlamına geliyor" ifadelerini kullandı.
OpenAI'de hesaplama teknolojileri direktörü Uday Ruddarraju ise "NVIDIA ile çalışmamız yapay zekayı daha hızlı ve daha faydalı hale getirmemize yardımcı oluyor" dedi. Ruddarraju, "Kendi iç modellerimizi NVIDIA GPU'larında çıkarımı optimize etmek için kullandık ve NVIDIA'nın programlanabilirliği Astra Ultrafast'ın arkasındaki hızlanmayı sunmamıza yardımcı oldu" değerlendirmesinde bulundu.
Dağıtım sonrası optimizasyon ve programlanabilir NVIDIA platformu
Kaynağa göre performans kazanımları bir model dağıtıma alındığında durmuyor. OpenAI, NVIDIA GPU'larında çalışan çıkarım yazılımını iyileştirmek için kendi modellerini kullanıyor ve platformun programlanabilirliğinden yararlanarak iyileştirmeleri test edip uyguluyor. Bu süregelen çalışma, model yanıtlarını zaman içinde daha hızlı ve dağıtılmış altyapıyı daha verimli hale getirebiliyor.
Programlanabilir NVIDIA platformu, geliştiricilerin ve araştırmacıların modeller geliştikçe eğitim, çıkarım ve pekiştirmeli öğrenme arasında altyapıyı yeniden kullanmasına olanak tanıyor. Bu esneklik, ekiplerin talep değiştikçe hesaplama kaynaklarını yeniden amaçlandırmasına, kullanımı iyileştirmesine ve her iş yükü için aşırı kaynak ayırmaktan kaçınmasına yardımcı oluyor. Ultrafast rehberi ise erişim, fiyatlandırma ve uygulama ayrıntılarını içeriyor.
