Analiz: OpenAI Jev-in texnologiyasını tez təkrarlaya bilər

TypeSafe-in Jev-i — generasiya olunan mətn əvəzinə kalibrlənmiş qərarlar qaytaran model — sürətlə yayıldı: Vercel-ə görə, o, "AI Gateway tarixində ən sürətli qəbul edilən model" olub. Arcturus Labs-ın 21 sentyabr tarixli analizi OpenAI-ın onu tez təkrarlaya biləcəyini iddia edir.

LLM-lər illərdir təsnifat aparır

Çıxış nöqtəsi budur: Jev adi böyük dil modelinə yaxın bir şey üzərində işləyir — Latent Space-ə görə, erkən klonların çoxu da LLM əsaslıdır. Bu məntiqlə Jev tək addımda növbəti tokenin ehtimal paylanmasını oxuyur: bəli/xeyr sualı true və false tokenlarının nisbətinə, seçim sualı isə göstərilən variantlara qədər azalır.

OpenAI bu yanaşmanın daha dar variantını tool calling-dən bəri tətbiq edir: daxildə assistant başlığından sonra ilk token alətin çağırılıb-çağırılmayacağına qərar verir, sonrakı tokenlər isə hansı alətin seçiləcəyini müəyyən edir. Müəllif qeyd edir ki, bunlar mütəxəssis təsnifatçılardır, Jev-inki isə ümumi olmalıdır.

Müdafiə xətti: təlim məlumatları və RL

Analizə görə, arxitektura TypeSafe-i demək olar qorumur; əsas müdafiə xətti təlim məlumatları və prosesdir. X-də həmtəsisçi Diogo Almeida bildirib ki, şirkət özünü "məlumat tədqiqatı laboratoriyası" hesab edir, məlumatlar isə "həqiqətən ümumi" (bir növ koqnitiv nüvə) və "100% sintetikdir".

Müəllif güman edir ki, belə məlumat dəsti vəziyyətləri məlum nəticələrlə cütləşdirir beləcə model sahə bilikləri yerinə ümumi kalibrasiya öyrənir. Amma bunlar yalnız Jev həqiqətən dəqiqdirsə müdafiə sayılır: o, ehtimalların doğrulmadığı sahələri artıq tapıb.

OpenAI-ın ehtimal olunan növbəti addımı

Aşkar yol Jev-i kopyalayıb yeni model tipi buraxmaqdır; OpenAI-ın həm bacarığı, həm avadanlığı, həm maliyyəsi var. Daha maraqlı variant təsnifatı adi LLM-in içinə yerləşdirməkdir: model düşünmə axınında <prediction> kimi teq yerləşdirə bilər, xidmət qatı həmin mövqedə true və false logit-lərini oxuyub nəticəni mətn kimi geri yazır.

Bu, modelə düşünərkən öz fərziyyələrini yoxlamağa, təhlükəli alət çağırışını və ya prompt injection cəhdini işarələməyə və işi böyük və kiçik modellər arasında bölüşdürməyə imkan verər.

Bu, TypeSafe üçün nə deməkdir

Müdafiə xəttini həqiqətən köçürmək çətindirsə, TypeSafe ayaqda qalacaq və hətta rəqabətdə uduzmaq əvəzinə OpenAI tərəfindən satın alına bilər; müdafiə zəifdirsə, TypeSafe-in pəncərəsi tez bağlanacaq. Almeida Latent Space-ə deyib: "Model keyfiyyəti vacibdirsə, uzun müddət çox yaxşı mövqedə olacağıq".