Jeff: Jev ilə uyğun 0,8B qərar modelləri bir yerli GPU-da öyrədilib

GitHub-da açıq mənbəli Jeff layihəsi yayımlanıb: o, Qwen3.5 və Gemma 4-ün 0,8B və 2B parametrli kiçik modellərini Jev ilə eyni sorğu formatından istifadə edən təsnifatçılara çevirir. İstifadəçi vəziyyəti və variantları sadə sözlərlə təsvir edir, model isə bir irəli keçiddə hər variant üçün kalibrlənmiş ehtimal qaytarır. Mətn yaradılmır, ona görə cavabı təhlil etmək lazım deyil. Qərar NVIDIA RTX PRO 6000-də təqribən 22 ms, Apple M4 Max-də MLX vasitəsilə 28 ms çəkir.

Jeff nədir

zero-shot o deməkdir ki, variantlar hər şey ola bilər: dəstək növbələri, istifadəçi niyyətləri, moderasiya etiketləri və ya oyun gedişləri. Kateqoriyaların təlim məlumatlarında olması vacib deyil, çünki istifadəçi onları sorğuda təsvir edir. Hugging Face-də üç model yayımlanıb: Jeff-Qwen3.5-0.8B, Jeff-Qwen3.5-2B və Jeff-Gemma4-E2B. Bir sorğuda üç növ sual göndərmək olar: 255 varianta qədər seçim, ehtimal kimi qaytarılan bəli/xeyr cavabı və təsvir edilən şkala üzrə bal.

Benchmark nəticələri

Modellər beş açıq benchmark-ın 4 599 sualında, JevBench-in çətin səviyyəsi isə ayrıca 105 elementdə yoxlanılıb. Ümumi balda Jeff-Qwen3.5-2B 83,1-ə, Jeff-Gemma4-E2B 81,6-ya, Jeff-Qwen3.5-0.8B isə 79,1-ə çatır; Jev-in dərc olunmuş göstəricisi 83,0-dır. Financial PhraseBank-da kiçik modellər 77,0-a qarşı 96,4-ə qalxır, düşünmə tələb edən testlərdə isə geri qalır: BBH-də 94,3-ə qarşı 64,0. Müəlliflər yazır ki, ümumi bal təsnifat tapşırıqlarından gəlir.

Yerli avadanlıqda təlim

Layihə yerli avadanlıqda hazırlanıb: 0,8B model bir RTX PRO 6000 iş stansiyası GPU-sunda təqribən iki saatda, 2B isə üç yarım saatda öyrədilir. Sintetik təlim məlumatlarını açıq model Qwen3.8-Flash-Next iki DGX Spark-da yazıb, testlər MacBook-da aparılıb. Bulud GPU-ları istifadə olunmayıb və təlim məlumatlarına qapalı modelin nəticəsi düşməyib. Jeff müstəqil layihədir və Jev-in istehsalçısı TypeSafe ilə bağlı deyil. Kod MIT, çəkilər isə Apache 2.0 lisenziyası ilə yayımlanır.

Oyunlar və məhdudiyyətlər

zero-shot qabiliyyətini yoxlamaq üçün Jeff üç oyun oynayıb və hər gediş sözlərlə təsvir edilib: Doom-da 6,55 öldürmə, əl ilə yazılmış qayda botu ilə eyni nəticə; Frogger-də öyrədilməmiş modelin 1,0-ına qarşı 10,3 keçid; Pac-Man-də 25,8-ə qarşı 98 topun 57,0-ı; M4 Max-də hər gediş üçün 29-49 ms. Müəlliflər məhdudiyyətləri də sadalayır: kiçik modellər düşünmür, yalnız ingilis dilində mətnlə işləyir və 2B oyunlarda 0,8B-dən zəifdir. Öz nümunələrinizlə qısa tənzimləmə çox şey dəyişir: səsli naviqasiya üçün təqribən 11 min nümunə ilə öyrədilmiş versiya dəqiqliyi 31,7%-dən 95,8%-ə yarım saatdan az müddətdə qaldırıb.