OpenAI, TypeSafe'in Jev'ine Luna tabanlı Decisions API ile yanıt verdi

OpenAI, yıllık DevDay konferansında salı günü Decisions API'yi tanıttı. Bu, şirketin son aylarda TypeSafe'in Jev'i sayesinde popülerleşen karar modellerine yanıtıdır. Yeni API, OpenAI'ın mevcut hattındaki en küçük ve en ucuz model olan Luna üzerine kurulu.

Decisions API ne yapıyor

Sohbet modellerinden farklı olarak karar modeli metin yazmaz. Önceden tanımlanmış yanıtlardan birini döndürür ve ona bir güven puanı ekler. Geliştirici modele soruyu, olası yanıtları ve bağlamı verir; karşılığında uygulama mantığında doğrudan kullanılabilecek bir puan alır.

OpenAI'a göre modeli sonucu 150 milisaniyede döndürüyor; aynı görev GPT-6 Luna için 1,6 saniye sürüyor. İşte bu hız ve daha gerçekçi güven puanları, bu tür modelleri içerik sınıflandırması, istek yönlendirmesi veya bir ajanın sınırlı seçenekler arasından sonraki eylemi seçmesi için kullanışlı kılıyor.

Prompt ile eğitilmiş sınıflandırıcı arasında

Bugün çoğu ekip bu görevi sıradan bir sohbet modeli ve dikkatle hazırlanmış bir prompt ile çözüyor: modelden listeden bir seçenek seçmesini istiyor, ardından güven puanını yaklaşık olarak belirlemek için token olasılıklarını okuyor.

Alternatif, küçük bir sınıflandırıcı eğitmektir. Hızlı ve ucuzdur, ancak etiketli veriye ve kategori kümesi her değiştiğinde yeniden eğitime ihtiyaç duyar. Karar modeli bu iki seçeneğin arasında durur: yeni kategoriler prompt içinde iletilir ve yanıt olarak geliştiriciye faydalı bir puan döner.

OpenAI için bu tamamen yeni bir fikir değil: şirketin Moderation API'si uzun süredir metin yerine kategorilere göre puanlar döndürüyor, ancak orada kategorileri geliştirici değil OpenAI belirliyor.

Sınırlı erişim ve açık sorular

Şu anda Decisions API yalnızca sınırlı erişimle kullanılabiliyor; tam sürümün önümüzdeki günlerde çıkması planlanıyor. OpenAI temsilcisi The New Stack'e ayrıntıları „tam sürümde“ açıklayacağını söyledi.

Bir çağrının ne kadara mal olacağı, tek bir isteğin kaç olası yanıt alabileceği ve geliştiricilerin modeli kendi verilerine uyarlayıp uyarlayamayacağı bilinmiyor. Bu üç yanıt, Decisions API'nin ajan çerçevelerinin standart bir parçası mı olacağını yoksa sohbet modellerinin yanında dar bir araç olarak mı kalacağını belirleyecek.