Python-da 25 sətirdə Jev: TypeSafe-in iddialarını sual altına alan parodiya

Sentyabrın 22-də açıq mənbəli NobodyWho layihəsindən Duarte O.Carmo "Python-da 25 sətirdə Jev" yazısını dərc etdi. Yazı TypeSafe AI-ın sentyabrın 14-də elan etdiyi qərar modeli Jev-in əsas davranışını kiçik lokal model və təxminən iyirmi beş sətir kodla bərpa edir. Yazı açıq şəkildə parodiya kimi işarələnib və Jev-in üstünlüyünün nə qədərinin arxitekturadan, nə qədərinin təlimdən gəldiyi mübahisəsində istinad nöqtələrindən birinə çevrilib.

TypeSafe nə elan etdi

Keçmiş OpenAI tədqiqatçısı Diogo Almeida tərəfindən qurulan TypeSafe AI sentyabrın 14-də iki illik sükutdan sonra Jev-i təqdim etdi — şirkətin System One modellərindən birincisini. Jev mətni token-token yaratmır: struktursuz vəziyyət məlumatını və tipləşdirilmiş sualları götürüb kalibrlənmiş ehtimallar və inam balları olan strukturlaşdırılmış cavablar qaytarır. Şirkət modeli Reinforcement Learning for Calibrated Decisions (RLCD) adlandırdığı üsulla öyrədir və onun müqayisə olunan LLM-lərdən təxminən iki tərtib daha sürətli və ucuz olduğunu bildirir: cavab üçün 70–500 ms, qabaqcıl modellərdə 3–329 saniyəyə qarşı; milyon giriş tokeni üçün 0,042 dollar, çıxış isə pulsuzdur. Mümkün cavablar əvvəlcədən təyin olunduğu üçün TypeSafe-ə görə Jev nə tip xətası edə, nə də halüsinasiya görə bilər. System One adı Daniel Kahnemanın "sürətli düşünmə"sindən, modelin adı isə iqtisadçı William Stanley Jevonsdan gəlir.

25 sətir nə edə bilir

NobodyWho yazısı 0,6 milyard parametrli açıq model Qwen3-0.6B-ni llama-cpp-python vasitəsilə yükləyir, ona maaş ödənişi görünüşlü fişinq e-məktubu və üç işarələnmiş cavab verir, "A", "B" və "C" tokenlərinin logitlərini oxuyur və onları log-softmax ilə ehtimallara çevirir: Legitimate 3,1%, Spam 8,4%, Phishing 88,5%. API çağırışı yox, reinforcement learning yox, sintetik data yox — və məlumatlar kompüteri tərk etmir. Müəllif bunun parodiya olduğunu qeyd edir və açıq tətbiqlərə işarə edir: OpenJev, openjev-sglang və DiffusionGemma üzərində OpenJev versiyası.

Niyə vacibdir

Yazı Hacker News-da 450 balı keçib; səbəb Jev-i təkzib etməsi deyil, çıxarış hiyləsini təcrid etməsidir — mətn nümunələmək yerinə bir neçə etiket tokeninin ehtimallarını oxumaq. Arcturus Labs sentyabrın 16-da oxşar müşahidə dərc etdi: etiket tokenləri üzrə log-ehtimalları birbaşa oxunan incə tənzimlənmiş LLM Jev-in davranışının böyük hissəsini bərpa edir; təhlil bu yanaşmanı developer Harsha Gundalaya aid edir. Bununla belə, daha çətin suallar açıq qalır. Jev bir paralel keçiddə çoxlu suala cavab verir, 25 sətirlik versiya isə yalnız birinə; kalibrləmə iddiaları isə təhlilin TypeSafe-in hələ izah etmədiyi hissə kimi göstərdiyi RLCD-yə söykənir. Real dünya tapşırıqlarında dəqiqlik hələ təsdiqlənməyib.