LLM və vizion modelləri üçün Jev bənzəri, tək funksiyalı Python wrapper

Sentyabr 2026-da dərc olunmuş bloq yazısında müəllif bir neçə LLM təchizatçısını, o cümlədən vizion modellərini, vahid çağırış interfeysində birləşdirən bir Python funksiyasını təsvir edir. Onun sözlərinə görə, ideya Jev və onun ətrafındakı, öz serverində yerləşdirilə bilən layihələr olan OpenJev və SemIf ilə tanışlıqdan yaranıb və ona token ehtimallarını oxumaq üsulunu açıb.

"Jev bənzəri" nə deməkdir

Jev-in sənədləşdirilmiş sorğu formatı mətn vəziyyəti və suallar çoxluğu olan JSON sənədidir. Müəllifin wrapper-i bu strukturu saxlayır, lakin rəsmi formatda olmayan, şəkillər üçün özünün əlavə etdiyi attachments sahəsini də qəbul edir. Yəni burada "Jev bənzəri" ifadəsi layihənin özünü deyil, sorğu-cavab strukturunu bildirir.

Wrapper necə işləyir

Hər sual A-dan T-ə qədər hərflərlə işarələnmiş variantlardan ibarət prompta çevrilir və adi HTTP sorğusu ilə göndərilir. Model yalnız bir token yaratmağa məcbur edilir, əvəzində API hərfləri loqarifmik ehtimalları ilə birlikdə qaytarır. Bu ədədlər ehtimallara çevrilir və cavab onlardan çıxarılır: choice tipli sualda ən yüksək ehtimallı variant qalib gəlir, noul (bəli/xeyr) tipi true ehtimalını verir, score isə meyarlar arasında gözlənilən səviyyəni hesablayır. Hər sual 2-dən 20-yə qədər variant qəbul edir; təchizatçı nəzərə alınmayacaq dərəcədə olmayan variantı buraxsa, funksiya təxmin etmək yerinə xəta qaytarır.

Təchizatçılar, şəkillər və sürət

Nümunə standart olaraq yerli llama.cpp serverinə, açar varsa isə OpenAI-ə müraciət edir; API açarı yalnız api.openai.com-a göndərilir. llama.cpp loqarifmik ehtimallar üçün Chat Completions tələb edir, OpenAI isə kifayət qədər alternativ göstərmək üçün Responses endpointini, və skript bu fərqi özü həll edir. Şəkillər base64 data URL kimi ötürülür, buna görə eyni sualları veb-kamera kadrına da vermək olar. Demoda müəllif kadrları OpenCV ilə oxuyur, bu yalnız kameraya çıxış üçündür, və cavab cədvəlini çap edir. RTX 3090-də Gemma 4 12B ilə kadr başına üç sualla saniyədə təxminən bir kadr alınır; gpt-6-luna API-si ilə təxminən 0,2 kadr.

Müəllifin diqqət çəkdiyi məqamlar

Müəllif açıq şəkildə bildirir ki, ixtisaslaşmış kompüter görmə modelləri qat-qat səmərəlidir, onun yanaşmasının dəyəri isə çeviklikdir: yeni şərt adi mətnlə təsvir edilərək əlavə olunur. O həmçinin qeyd edir ki, giriş məlumatlarının emalı yenə də vaxt aparır, ümumi state prefiksi backend dəstəklədikdə keşlənir, sürət göstəriciləri isə optimallaşdırılmamış konfiqurasiyadan alınıb, burada hər sual və kadr üçün ayrı bağlantı istifadə olunur.