Jev eğitim verisi olmadan faydalı, ancak olasılıkları sizin verinizde kalibre değil

Jev, TypeSafe'in ilk "System One Model"i. Metin üretmek yerine yapılandırılmamış girdiyi alıp önceden tanımladığınız bir çıktı kümesinden tiplenmiş kararlar döndürüyor ve her karara bir olasılık ekliyor. Şirkete göre yanıtlar kalibre edilmiş olasılıklarla birlikte geliyor. 23 Eylül 2026'da yayımlanan bir yazıda Alex Molas, Jev'in faydalı olduğunu ancak kalibrasyon iddiasının genel olarak geçerli olamayacağını savunuyor: çıktılar olasılık değil, puan olarak ele alınmalı.

Eğitim verisi olmadan faydalı

Jev'i eğitim verisi toplamadan herhangi bir sınıflandırma problemine uygulayıp makul sonuçlar alabilirsiniz. Twitter'da birçok kişi bunun "sadece ince ayarlı bir BERT" olduğunu söyledi, ancak BERT'i ince ayarlamak veri gerektirir; veri yoksa Jev iyi bir alternatif. Ayrıca Jev evrensel bir sınıflandırıcı, ince ayarlı BERT ise yalnızca kendi görevinde işe yarıyor. Veriniz olmadan işe yaraması tam da bu yüzden olasılıklarının sizin için kalibre edilememesi anlamına geliyor.

Kalibrasyon veri dağılımınıza bağlı

TypeSafe, Jev'in RLCD ile, yani kalibre edilmiş kararlar için pekiştirmeli öğrenmeyle eğitildiğini ve ürettiği olasılıkların kalibre olduğunu söylüyor. Molas buna katılmıyor: bir model TypeSafe'in verisinde kalibre olup sizin verinizde kalibre olmayabilir. Kalibrasyon, tahmin edilen her p olasılığı için pozitif sınıfın gerçek olasılığının da p olması demek. Jev bir e-postaya 0,7 spam olasılığı verdiyse, bu tür e-postaların yaklaşık %70'i gerçekten spam olmalı.

Kalibrasyon yalnızca modelin değil, veri dağılımınızın da özelliği. Aynı model bir veri kümesinde kalibre olup başka birinde olmayabilir. İki şirket spamı aynı şekilde tanımlayıp çok farklı verilere sahip olabilir; Jev aynı girdi ve istem için ikisine de aynı olasılığı döndürür. RLCD, Jev'i kendi eğitim ve değerlendirme dağılımında kalibre etmeyi başarsa bile, üretim trafiğinizde olasılıklar kalibre kalmayabilir.

Sorun dağılım kaymasından daha derin

Yazar ayrıca Jev'in adil bir paranın 0,92 olasılıkla yazı geldiğini söylediği örnekler bulmuş. Gerçek olasılık istemin içinde yazılı ve model yine de bunu bildirmiyor; bu, sıradan bir dağılım kaymasından daha kötü. Olasılıkların anlamı kullandığınız ilkel öğeye göre değişiyorsa, "kalibre edilmiş olasılıklar" tam olarak ne anlama gelir?

Yeniden kalibre edin ya da puan olarak kullanın

Kalibre edilmiş olasılıklara ihtiyacınız varsa, Jev'in sayılarını yine kendi verinizde yeniden kalibre etmeniz gerekir. İyi haber şu ki bu ucuz: trafiğinizden birkaç yüz etiketli örnek, Jev'in puanları üzerine bir Platt scaling uydurmaya genellikle yeter.

Sonuç, Jev'in çıktılarını iyi puanlar olarak görmek; örnekleri iyi sıralıyorlar, ama iyi olasılıklar değiller. Sisteminiz gerçek sayıya bağlıysa, eşikler, maliyetler veya model birleştirme için kalibrasyonu kendi verinizde ölçün.