Jev სასარგებლოა მონაცემების გარეშე, მაგრამ მისი ალბათობები ყველგან კალიბრირებული არ არის

Jev არის TypeSafe-ის პირველი „System One Model“: ტექსტის გენერირების ნაცვლად ის არასტრუქტურირებულ შეყვანას იღებს და წინასწარ განსაზღვრული პასუხებიდან ტიპიზებულ გადაწყვეტილებებს აბრუნებს, თითოეულს ალბათობა ახლავს. TypeSafe ამბობს, რომ პასუხებს კალიბრირებული ალბათობები ახლავს. 2026 წლის 23 სექტემბერს გამოქვეყნებულ ანალიზში Alex Molas ამტკიცებს, რომ Jev სასარგებლოა, თუმცა კალიბრაციის შესახებ განცხადება ზოგადად ვერ დადასტურდება: შედეგები ალბათობად კი არა, ქულად უნდა გამოვიყენოთ.

სასარგებლოა მონაცემების გარეშე

Jev-ს ნებისმიერ კლასიფიკაციის ამოცანაზე გამოყენება მონაცემების შეგროვების გარეშე შეიძლება. Twitter-ზე ბევრმა აღნიშნა, რომ ეს „მხოლოდ დახვეწილი BERT-ია“, მაგრამ BERT-ის დახვეწას მონაცემები სჭირდება, ამიტომ მონაცემების არარსებობისას Jev კარგი ალტერნატივაა. Jev უნივერსალური კლასიფიკატორია, დახვეწილი BERT-ი კი მხოლოდ საკუთარ ამოცანას ემსახურება. სწორედ ამიტომ ვერ იქნება მისი ალბათობები თქვენთვის კალიბრირებული.

კალიბრაცია მონაცემთა განაწილებაზეა დამოკიდებული

TypeSafe-ის თქმით, Jev RLCD-ით გაწვრთნა და მისი ალბათობები კალიბრირებულია. ავტორი ამას არ ეთანხმება: მოდელი შეიძლება კალიბრირებული იყოს TypeSafe-ის მონაცემებზე და მაინც არასწორად იყოს კალიბრირებული თქვენსაზე. კალიბრაცია ნიშნავს, რომ ნებისმიერი პროგნოზირებული ალბათობის p შემთხვევაში დადებითი კლასის ჭეშმარიტი ალბათობაც p-ია. თუ Jev ელფოსტას სპამის 0,7 ალბათობას მისცემს, მსგავსი წერილების დაახლოებით 70% სპამი უნდა იყოს.

მთავარი ისაა, რომ კალიბრაცია მოდელის თვისება კი არა, თქვენი მონაცემთა განაწილების თვისებაცაა. ერთი და იგივე მოდელი ერთ ნაკრებზე კალიბრირებული შეიძლება იყოს, მეორეზე კი არა. ორ კომპანიას სპამი ერთნაირად შეიძლება განუსაზღვროს, მაგრამ მონაცემთა განაწილება განსხვავებული ჰქონდეს; იმავე შეყვანაზე და პრომპტზე Jev ორივეს ერთსა და იმავე ალბათობას დაუბრუნებს. ამიტომ მოდელი ერთი კომპანიისთვის კალიბრირებული შეიძლება იყოს, მეორისთვის კი არა. RLCD-მაც რომ წარმატებით ასწავლოს კალიბრაცია, პროდუქციის მონაცემებზე ალბათობები შეიძლება აღარ დარჩეს კალიბრირებული.

პრობლემა განაწილების ცვლაზე ღრმაა

ავტორმა იპოვა პოსტები, სადაც Jev ამბობს, რომ სამართლიანი მონეტა ხურდაზე 0,92 ალბათობით დაეცემა. ჭეშმარიტი ალბათობა პრომპტშია მოცემული და მოდელი მაინც არ აბრუნებს მას, რაც უბრალო განაწილების ცვლაზე უარესია. თუ ალბათობების მნიშვნელობა პრიმიტივის მიხედვით იცვლება, რას ნიშნავს „კალიბრირებული ალბათობები“?

გადააკალიბრეთ ან ქულად გამოიყენეთ

თუ კალიბრირებული ალბათობები გჭირდებათ, Jev-ის რიცხვები საკუთარ მონაცემებზე უნდა გადააკალიბროთ. ეს იაფია: რამდენიმე ასეული მონიშნული მაგალითი შეიძლება საკმარისი იყოს, რომ Jev-ის ქულებზე Platt scaling მოირგოთ.

ავტორის დასკვნა: Jev-ის შედეგები კარგ ქულებად უნდა მივიჩნიოთ, რადგან მაგალითებს კარგად ალაგებენ რიგში, და არა კარგ ალბათობებად. თუ სისტემა კონკრეტულ რიცხვზეა დამოკიდებული (ზღვრები, ხარჯები, სხვა მოდელებთან შერწყმა), კალიბრაცია საკუთარ მონაცემებზე გაზომეთ.