Baseten, OpenAI B2B Marketplace'in ilk partnerlerinden biri

Baseten, OpenAI B2B Marketplace'inde açık model çıkarımı için ilk sağlayıcılardan biri oldu. Şirkete göre, OpenAI kullanıcılarına açık modelleri Codex içinde ve Responses API aracılığıyla sunuyor.

Kurumsal müşteriler için neler değişiyor

Baseten'in blogunda yayımlanan açıklamaya göre, kuruluşlar hâlihazırda yaptıkları OpenAI taahhütlerini Baseten üzerinde çalışan açık modeller için de kullanabilir; hem Codex'te hem de Responses API üzerinden. Codex ve GPT modelleri kod üretimi için en popüler seçeneklerden biridir, bu nedenle işin bir kısmını açık modellere taşımak şirketin hedefi: dolar başına daha fazla zekâ.

Çok modelli iş akışı

Baseten'e göre, AI ajanlarıyla kod yazmak şu anda AI'nin en yaygın kullanım senaryosudur. Şirketler model karışımı kullanır ve görevleri statik veya uyarlamalı yönlendiricilerle maliyet, kalite ve hız açısından en iyi oranı veren modele dağıtır. Yeni açık ve kapalı modellerin çıkışı arasındaki aralık haftalara kadar indi, bu yüzden tek bir model uzun süre tüm görevler için en iyi kalmaz.

Altyapı, gizlilik ve destek

Baseten'e göre platform, 20'den fazla bulutta dağıtılan 90'dan fazla küme üzerinde çalışıyor ve dağıtımlar aynı anda birkaç konumda etkin: bir sağlayıcı veya bölge çöktüğünde trafik yönlendirilir ve iş durmaz. Şirket 200'den fazla hesaplama sağlayıcısıyla iş birliği yapıyor ve önde gelen açık modelleri Model APIs'te çıkış günü yayımlıyor.

Çıkarım ABD altyapısında, istemlerde sıfır saklama (ZDR) ile çalışır. Gerektiğinde dağıtım belirli bir bölgeye sabitlenir ve ayrıntılı kimlik doğrulama ile yetkilendirme kullanılabilir. Baseten ayrıca Blaxel'in artık kendisinin bir parçası olduğunu ve her ajana kendi sandbox'ını verdiğini, LangChain'in ise Baseten Loops ile LangSmith Engine için kendi modellerini eğittiğini belirtiyor.

Açık modellere erişmek için OpenAI kullanıcıları Marketplace'in ilgi listesine kaydolur.