Jev təlim məlumatı olmadan faydalıdır, lakin ehtimalları sizin məlumatlarınızda kalibrlənməyib

Jev TypeSafe-in ilk "System One Model"idir. Mətn yaratmaq əvəzinə o, strukturlaşdırılmamış girişi qəbul edir və əvvəlcədən təyin etdiyiniz cavablar toplusundan tipləşdirilmiş qərarlar qaytarır, hər birinə ehtimal əlavə olunur. Şirkətin sözlərinə görə, cavablar kalibrlənmiş ehtimallarla müşayiət olunur. 23 sentyabr 2026-cı ildə dərc olunan yazıda Alex Molas Jev-in faydalı olduğunu, lakin kalibrləmə iddiasının ümumi halda doğru ola bilməyəcəyini müdafiə edir: nəticələr ehtimal kimi deyil, bal kimi qəbul edilməlidir.

Təlim məlumatı olmadan faydalıdır

Jev-i təlim məlumatı toplamadan istənilən təsnifat məsələsinə tətbiq edib məqbul nəticələr almaq olar. Twitter-də çoxları bunun "sadəcə incə tənzimlənmiş BERT" olduğunu söylədi, amma BERT-in incə tənzimlənməsi məlumat tələb edir; məlumat yoxdursa, Jev yaxşı alternativdir. Bundan başqa, Jev universal təsnifatçıdır, incə tənzimlənmiş BERT isə yalnız öz tapşırığı üçün faydalıdır. Elə buna görə də ehtimalları sizin üçün kalibrlənmiş ola bilməz.

Kalibrləmə məlumat paylanmanızdan asılıdır

TypeSafe bildirir ki, Jev RLCD ilə, yəni kalibrlənmiş qərarlar üçün reinforcement learning ilə təlim alıb və onun ehtimalları kalibrlənib. Molas razılaşmır: model TypeSafe-in məlumatlarında kalibrlənmiş ola bilər və yenə də sizin məlumatlarınızda kalibrlənməmiş qala bilər. Kalibrləmə o deməkdir ki, hər proqnozlaşdırılan p ehtimalı üçün müsbət sinfin həqiqi ehtimalı da p-dir. Jev məktuba 0,7 spam ehtimalı verdikdə, belə məktubların təxminən 70%-i həqiqətən spam olmalıdır.

Kalibrləmə yalnız modelin deyil, həm də məlumat paylanmanızın xassəsidir. Eyni model bir verilənlər toplusunda kalibrlənmiş, digərində isə yox. İki şirkət spamı eyni cür təyin edib tamamilə fərqli məlumatlara sahib ola bilər; Jev eyni giriş və prompt üçün hər ikisinə eyni ehtimalı qaytarır. RLCD Jev-i öz təlim paylanmasında kalibrləməyi bacarsa da, istehsalat trafikinizdə ehtimallar kalibrlənmiş qalmaya bilər.

Problem paylanma sürüşməsindən daha dərindir

Müəllif həmçinin Jev-in ədalətli sikkənin 0,92 ehtimalla "üz" düşdüyünü söylədiyi nümunələr tapıb. Həqiqi ehtimal promptun içində yazılıb və model yenə də onu bildirmir; bu, adi paylanma sürüşməsindən daha pisdir. Ehtimalların mənası istifadə etdiyiniz primitivdən asılı olaraq dəyişirsə, "kalibrlənmiş ehtimallar" tam olaraq nə deməkdir?

Yenidən kalibrləyin və ya bal kimi istifadə edin

Kalibrlənmiş ehtimallar lazımdırsa, Jev-in rəqəmlərini yenə öz məlumatlarınızda yenidən kalibrləməli olacaqsınız. Yaxşı xəbər budur ki, bu ucuzdur: trafikinizdən bir neçə yüz etiketli nümunə Jev-in balları üzərinə Platt scaling uyğunlaşdırmağa adətən kifayət edir.

Nəticə odur ki, Jev-in nəticələri yaxşı ballar kimi qəbul edilməlidir, çünki nümunələri yaxşı sıralayır, amma yaxşı ehtimallar deyil. Sisteminiz konkret rəqəmdən asılıdırsa (hədlər, xərclər, digər modellərlə birləşdirmə), etibar etməzdən əvvəl kalibrləməni öz məlumatlarınızda ölçün.