Privatemode GLM-5.3-Flash-ı Jev tipli qərar modelinə çevirdi

Privatemode AI hazır dil modelini qərar modelinə necə çevirməyin mümkün olduğunu göstərdi. 24 sentyabrda dərc olunan bloq yazısında Alman məxfi hesablama provayderi bildirdi ki, GLM-5.3-Flash hər variant üçün ehtimal daşıyan qərarları bir forward pass-da, əlavə təlim olmadan qaytarır.

Bu iş üçün xüsusi hazırlanmış TypeSafe-in Jev və Convai-nin Laya modelləri seçilmiş variantı hər biri üçün etibarlılıq dəyəri ilə birlikdə qaytarır. Privatemode-un metodu eyni davranışı hazır LLM-dən alır.

Metod necə işləyir

Dil modeli mətni birbaşa yazmır: hər addımda bütün lüğəti üzərində ehtimal paylanması yaradır. Metod məhz bundan istifadə edir. Vəziyyət, sual və nömrələnmiş variantlar prompt-a JSON kimi daxil olur və prompt artıq choice_index: prefiksi ilə bitdiyi üçün modelin növbəti token-u variant nömrəsi olmalıdır. Kitabxana həmin token-u oxumur; modelin bu mövqedə bütün variant nömrələrinə verdiyi ehtimalları oxuyur və onları variantlar üzərində normallaşdırır.

Tətbiq GLM-5.3-Flash-ı vLLM üzərində işlədir və /chat/completions ünvanını continue_final_message və add_generation_prompt: false parametrləri ilə istifadə edir. vLLM-in allowed_token_ids-i lüğəti yalnız variant nömrələrinə məhdudlaşdırır, logprob_token_ids isə dəqiq tələb olunan token-ların log ehtimallarını qaytarır.

Jev ilə eyni dəqiqlik

Müəlliflər üç sistemi 2-dən 151-ə qədər variantı olan 29 açıq, etiketlənmiş verilənlər toplusunda sınadılar; mətnlər ingilis və alman dillərindədir. 28 mətn toplusunda GLM-5.3-Flash və Jev bərabərdir: hər biri 10 topluda daha dəqiqdir, səkkizində fərq bir faiz bəndindən azdır, Jev-in xeyrinə 0,7 bəndlik median fərq isə statistik olaraq əhəmiyyətsizdir (p = 0,64). Yerli işlədilən 421 milyon parametrli Laya hər ikisindən 13-15 bənd geri qalır.

Gecikmə, xərc və şəkillər

Cavab müddəti yerdən asılıdır: bir anda bir sorğu ölçməsi ilə Privatemode Almaniyadan 180 millisaniyədə, Jev isə 264 millisaniyədə cavab verdi; ABŞ-dan sıra dəyişir, Jev 164, Privatemode isə 299 millisaniyə. Xərcdə Jev daha ucuzdur: milyon qərar GLM-5.3-Flash ilə təxminən 62 avro, Jev ilə təxminən 16 avro təşkil edir. Jev hər suala təxminən 270 sabit token və hər varianta 10 token əlavə edir, GLM-5.3-Flash-ın prompt-u isə təxminən 55 və 20.

GLM-5.3-Flash şəkillərlə işlədiyi üçün sual şəkil də ehtiva edə bilər; Jev və Laya yalnız mətnlə işləyir. 16 sinifdə 1 600 skan edilmiş iş sənədindən ibarət RVL-CDIP toplusunda model 70,2% dəqiqliyə çatır və şəkil təxminən 1 350 giriş token-u əlavə edir. Müəlliflər bir məhdudiyyəti də qeyd edirlər: düşünmənin işə salınması daha dəqiqdir, lakin milyon qərar təxminən 350 avroya başa gəlir.