OpenAI TypeSafe-in Jev-inə Luna əsaslı Decisions API ilə cavab verdi

OpenAI çərşənbə axşamı illik DevDay konfransında Decisions API-ni təqdim etdi. Bu, şirkətin son aylarda TypeSafe-in Jev-i sayəsində populyarlaşan qərar modellərinə cavabıdır. Yeni API OpenAI-ın hazırkı xəttində ən kiçik və ən ucuz olan Luna modeli üzərində qurulub.

Decisions API nə edir

Çat modellərindən fərqli olaraq qərar modeli mətn yazmır. Əvvəlcədən müəyyən edilmiş cavablardan birini qaytarır və ona etibarlılıq balı əlavə edir. Tərtibatçı modelə sualı, mümkün cavabları və konteksti verir, əvəzində isə tətbiq məntiqində birbaşa istifadə edilə bilən bal alır.

OpenAI-a görə, onun modeli nəticəni 150 millisaniyədə qaytarır, halbuki eyni tapşırıq GPT-6 Luna üçün 1,6 saniyə çəkir. Məhz bu sürət və daha real etibarlılıq balları bu cür modelləri məzmunun təsnifatı, sorğuların yönləndirilməsi və ya agentin məhdud variantlardan növbəti hərəkəti seçməsi üçün faydalı edir.

Prompt ilə öyrədilmiş təsnifatçı arasında

Bu gün komandaların çoxu bu tapşırığı adi çat modeli və diqqətlə hazırlanmış prompt ilə həll edir: modeldən siyahıdan bir variant seçməsini istəyir, sonra isə etibarlılıq balını təxmini müəyyən etmək üçün token ehtimallarını oxuyur.

Alternativ kiçik təsnifatçının öyrədilməsidir. O, sürətli və ucuzdur, lakin etiketlənmiş data tələb edir və kateqoriya dəsti hər dəyişdikdə yenidən öyrədilməlidir. Qərar modeli bu iki variant arasında dayanır: yeni kateqoriyalar prompt ilə ötürülür, cavab olaraq isə tərtibatçı üçün faydalı bal qayıdır.

OpenAI üçün bu tamamilə yeni fikir deyil: şirkətin Moderation API-si uzun müddətdir mətn yerinə kateqoriyalara görə ballar qaytarır, lakin orada kateqoriyaları tərtibatçı yox, OpenAI müəyyən edir.

Məhdud giriş və açıq suallar

Hazırda Decisions API yalnız məhdud girişlə əlçatandır, tam buraxılış isə yaxın günlərdə planlaşdırılır. OpenAI nümayəndəsi The New Stack-ə bildirib ki, təfərrüatları „tam buraxılış zamanı“ açıqlayacaq.

Bir çağırışın nə qədər baha başa gələcəyi, bir sorğunun neçə mümkün cavab tuta biləcəyi və tərtibatçıların modeli öz datalarına uyğunlaşdıra biləcəyi məlum deyil. Məhz bu üç cavab Decisions API-nin agent freymvorklarının standart hissəsi olacağını, yoxsa çat modellərinin yanında dar alət kimi qalacağını müəyyən edəcək.