Jev-ը օգտակար է առանց ուսուցման տվյալների, սակայն հավանականությունները տրամաչափված չեն ձեզ համար

Jev-ը TypeSafe-ի առաջին «System One Model»-ն է. տեքստ ստեղծելու փոխարեն այն ընդունում է չկառուցվածքավորված մուտք և վերադարձնում է տիպավորված որոշումներ նախապես սահմանված պատասխանների բազմությունից, որոնցից յուրաքանչյուրին կցված է հավանականություն: Ընկերության պնդմամբ՝ պատասխաններն ուղեկցվում են տրամաչափված հավանականություններով: 2026 թվականի սեպտեմբերի 23-ին հրապարակված վերլուծության մեջ Alex Molas-ը պնդում է, որ Jev-ը օգտակար է, սակայն տրամաչափման պնդումը ընդհանուր դեպքում չի կարող ճիշտ լինել. արդյունքները պետք է դիտարկել որպես գնահատականներ, ոչ որպես հավանականություններ:

Օգտակար է առանց ուսուցման տվյալների

Jev-ը կարելի է կիրառել ցանկացած դասակարգման խնդրի վրա՝ առանց ուսուցման տվյալներ հավաքելու, և ստանալ ընդունելի արդյունքներ: Twitter-ում շատերը նշել են, որ սա «ընդամենը լավ լարված BERT է», սակայն BERT-ի լարումը տվյալներ է պահանջում, ուստի տվյալների բացակայության դեպքում Jev-ը լավ այլընտրանք է: Բացի այդ, Jev-ը ունիվերսալ դասակարգիչ է, ի տարբերություն մեկ խնդրի համար լարված BERT-ի: Եվ հենց դրա համար էլ նրա հավանականությունները չեն կարող տրամաչափվել ձեզ համար:

Տրամաչափումը կախված է ձեր տվյալների բաշխումից

TypeSafe-ը պնդում է, որ Jev-ը ուսուցվել է RLCD-ով՝ տրամաչափված որոշումների համար նախատեսված reinforcement learning-ով, և որ նրա հավանականությունները տրամաչափված են: Molas-ը համաձայն չէ. մոդելը կարող է տրամաչափված լինել TypeSafe-ի տվյալների վրա և դեռ վատ տրամաչափված լինել ձեր տվյալների վրա: Տրամաչափումը նշանակում է. կանխատեսված p հավանականության դեպքում դրական դասի իրական հավանականությունը նույնպես p է: Եթե Jev-ը նամակին 0,7 սպամի հավանականություն է տալիս, նման նամակների մոտ 70%-ը պետք է սպամ լինի:

Տրամաչափումը ոչ միայն մոդելի, այլև ձեր տվյալների բաշխման հատկություն է: Նույն մոդելը կարող է տրամաչափված լինել մի հավաքածուի վրա և ոչ մյուսի: Երկու ընկերություն կարող են սպամը նույն կերպ սահմանել և ունենալ տարբեր տվյալներ. Jev-ը երկուսին էլ նույն հավանականությունը կվերադարձնի: Նույնիսկ եթե RLCD-ը Jev-ը տրամաչափի իր ուսուցման բաշխման վրա, արտադրական տվյալների վրա դա կարող է չպահպանվել:

Խնդիրն ավելի խորը է, քան բաշխման տեղաշարժը

Հեղինակը գտել է նաև դեպքեր, երբ Jev-ը պնդում է, որ արդար մետաղադրամը 0,92 հավանականությամբ «ղուշ» է ընկնում: Իրական հավանականությունը տրված է հրահանգի մեջ, և մոդելը այնուամենայնիվ չի հաղորդում այն, ինչը սովորական բաշխման տեղաշարժից ավելի վատ է: Եթե հավանականությունների իմաստը փոխվում է՝ կախված օգտագործվող պրիմիտիվից, ի՞նչ է նշանակում «տրամաչափված հավանականություններ»։

Վերատրամաչափեք կամ դիտարկեք որպես գնահատական

Եթե տրամաչափված հավանականություններ են պետք, Jev-ի թվերը պետք է վերատրամաչափեք սեփական տվյալների վրա: Լավ նորությունն այն է, որ դա էժան է. ձեր տվյալներից մի քանի հարյուր պիտակավորված օրինակ սովորաբար բավարար է Jev-ի գնահատականների վրա Platt scaling տեղադրելու համար:

Հեղինակի եզրակացությունը. Jev-ի արդյունքները լավ գնահատականներ են, որոնք օրինակները լավ են դասավորում, և ոչ լավ հավանականություններ: Եթե համակարգը կախված է իրական թվից (շեմեր, ծախսեր, այլ մոդելների հետ համադրում), վստահելուց առաջ տրամաչափումը չափեք սեփական տվյալների վրա: