NVIDIA GPU'ları OpenAI'nin GPT-6 Astra Ultrafast'ını nasıl hızlandırıyor

NVIDIA bloguna göre, GPT-6 Astra Ultrafast Blackwell GPU'larında çalışıyor ve OpenAI API'sinde zaten erişilebilir, bu özelliğe ChatGPT Work ve Codex'in yetkili kullanıcılarının da erişimi var.

Ultrafast, tokenleri Astra Standard moduna göre 8 kadar daha hızlı üretiyor. Hızlanma, OpenAI modellerinin NVIDIA Blackwell mimarisinin yeteneklerini kullanarak oluşturduğu çıkarım optimizasyonlarına dayanıyor.

Hızlanmanın ajansel döngülerde sağladıkları

Bloguna göre, tokenlerin daha hızlı üretilmesi kod ajanslarının edit-test-debug döngüsünü kısaltıyor, araç çağrıları arasında yanıt üretmeye harcanan zamanı azaltıyor ve etkileşimli uygulamalar daha hızlı yanıt veriyor.

Daha hızlı yanıtın özellikle önemli olduğu durum, bunun iş akışında tekrarlanmasıdır: ajan kodu yazar, araç kullanır, sonucu doğrular ve sıradaki adıma karar verir. Ultrafast tam da bu zaman açısından kritik döngülere odaklanıyor; NVIDIA'nın AI altyapısı ise OpenAI'nin geliştiricilere ihtiyaç duyulan anda yeterli model yanıtları sunmasına yardımcı oluyor.

"NVIDIA'nın araçlara ve dokümantasyona yaptığı ciddi yatırım, modellerimizin Blackwell ve Rubin GPU'larında programlamada özellikle iyi çalışmasını sağlıyor" dedi OpenAI çıkarım lideri Philippe Tillet. "Astra'nın bu bilgiyi yüksek verimliliğekirdeklerine dönüştürmesi, NVIDIA donanımını gecikme, verimlilik ve maliyet açısından tüm aralıkta cazip kılıyor. Astra Ultrafast ile bu, ajanlar kod yazarken, araç kullanırken ve zorlu görevler üzerinde çalışırken modelin daha hızlı yanıt vermesi anlamına geliyor."

Çalışma dağıtımının ardından da devam ediyor

NVIDIA blogunun bildirdiğine göre, verimlilik artışı modelin dağıtımıyla sona ermiyor: OpenAI, kendi modellerini NVIDIA GPU'larında çalışan çıkarım yazılımını optimize etmek için kullanıyor; platformun programlanabilirliği ise iyileştirmelerin test edilmesine ve dağıtılmasına olanak tanıyor. Bu sürekli çalışma, zaman içinde yanıtları hızlandırıyor ve dağıtılan altyapıyı daha verimli hale getiriyor.

"NVIDIA ile çalışmak, AI'ı daha hızlı ve daha kullanışlı hale getirmemize yardımcı oluyor" dedi OpenAI bilişim teknolojileri direktörü Uday Ruddarraju. "Çıkarım optimizasyonu için kendi dahili modellerimizi kullandık; NVIDIA'nın programlanabilirliği ise Astra Ultrafast'ın arkasındaki hızlanmayı sunmamıza yardımcı oldu."

Farklı yükler için tek altyapı

NVIDIA'nın bildirdiğine göre, programlanabilir platform geliştiricilere ve araştırmacılara, model geliştirmeyle birlikte altyapıyı eğitim, çıkarım ve reinforcement learning için yeniden kullanma imkanı tanıyor. Bu esneklik ekiplerin, hesaplama kaynaklarını talep değişiklikleriyle birlikte yeniden dağıtmasına, kullanımı artırmasına ve her yük için aşırı kapasite rezervi oluşturmaktan kaçınmasına yardımcı oluyor.

Geliştiriciler GPT-6 Astra Ultrafast'ı API üzerinden zaten kullanabilir. Erişim, fiyatlandırma ve dağıtım detayları OpenAI'nin Ultrafast kılavuzunda verilmiştir.