פונקציית Python אחת כמעטפת בסגנון Jev למודלי LLM, כולל מודלי ראייה

ברשומה שפורסמה בספטמבר 2026 מתאר המחבר פונקציית Python אחת שהופכת כמה ספקי LLM, כולל מודלי ראייה, לממשק קריאה אחיד. לדבריו, הרעיון נולד מהיכרות עם Jev והפרויקטים הניתנים לאירוח עצמי סביבו, OpenJev ו-SemIf, שהובילו אותו לטריק של קריאת הסתברויות הטוקנים.

מה פירוש "בסגנון Jev"

פורמט הבקשה המתועד של Jev מכיל מסמך JSON עם מצב טקסטואלי וקבוצת שאלות. העטיפה של המחבר שומרת על אותו מבנה, אך מוסיפה שדה attachments משלה לתמונות, שאותו הפורמט המתועד אינו מכסה. כלומר "בסגנון Jev" מתייחס כאן למבנה הבקשה והתשובה, ולא לפרויקט עצמו.

איך העטיפה עובדת

כל שאלה נכתבת מחדש כפרומפט של בחירה מרובה, עם אפשרויות המסומנות באותיות מ-A עד T, ונשלחת כבקשת HTTP רגילה. המודל מחויב לייצר טוקן אחד בלבד, ובתמורה מחזיר ה-API את האותיות יחד עם לוגarיתמי ההסתברות שלהן. המספרים האלה מומרים להסתברויות, ומהן נגזרת התשובה: בשאלת choice מנצחת האפשרות בעלת ההסתברות הגבוהה, שאלת noul (כן/לא) מחזירה את ההסתברות של true, ושאלת score מחזירה את הרמה הצפויה בין הקריטריונים. כל שאלה מקבלת 2 עד 20 אפשרויות; אם הספק משמיט אפשרות שאינה זניחה, הפונקציה מחזירה שגיאה במקום לנחש.

ספקים, תמונות ומהירות

הדוגמה פונה כברירת מחדל לשרת llama.cpp מקומי, ואם יש מפתח גם ל-OpenAI; המפתח נשלח רק אל api.openai.com. llama.cpp זקוק ל-Chat Completions כדי לקבל לוג-הסתברויות, ואילו OpenAI זקוק ל-Responses כדי לחשוף מספיק חלופות, והסקריפט מטפל בהבדל הזה בעצמו. התמונות נשלחות כ-base64 data URL, ולכן אותן שאלות אפשר להפנות גם לפריים ממצלמת רשת. בהדגמה המחבר קורא פריימים דרך OpenCV, שנועד רק לגישה למצלמה, ומדפיס טבלת תשובות. עם Gemma 4 12B על RTX 3090 מתקבל בערך פריים אחד בשנייה בשלוש שאלות לפריים; עם gpt-6-luna דרך ה-API בערך 0.2 פריימים בשנייה.

על מה המחבר מזהיר

המחבר מבהיר במפורש שמודלי ראייה ממוחשבת ייעודיים יעילים בהרבה, ושהערך בגישה שלו הוא הגמישות: תנאי חדש מתווסף בתיאור בטקסט רגיל. הוא גם מציין שעיבוד הקלט עדיין גובה זמן, שתחילית מצב משותפת נשמרת במטמון אם ה-backend תומך בכך, ושנתוני התפוקה מגיעים מהגדרה לא ממוטבת, שבה כל שאלה ופריים מקבלים חיבור נפרד.