Privatemode הפכה את GLM-5.3-Flash למודל החלטות בסגנון Jev

Privatemode AI הציגה כיצד אפשר להפוך מודל שפה מדף למודל קבלת החלטות. בפוסט שפורסם ב-24 בספטמבר דיווחה הספקית הגרמנית למחשוב סודי כי GLM-5.3-Flash מחזיר החלטות מוגדרות, עם הסתברות לכל אפשרות, במעבר קדימה אחד וללא כיוונון עדין.

מודלים שנבנו במיוחד למשימה הזו, כמו Jev של TypeSafe ו-Laya של Convai, מחזירים את האפשרות הנבחרת יחד עם ערך ביטחון לכל אחת. השיטה של Privatemode מפיקה התנהגות זהה ממודל קיים.

איך זה עובד

מודל שפה לא כותב טקסט ישירות: בכל צעד הוא מפיק התפלגות הסתברות על כל אוצר המילים שלו. השיטה מנצלת בדיוק את זה. המצב, השאלה והאפשרויות הממוספרות נכנסים לפרומפט כ-JSON, והפרומפט כבר מסתיים בתחילית choice_index:, כך שהטוקן הבא של המודל חייב להיות מספר אפשרות. הספרייה לא קוראת את הטוקן הזה, אלא את ההסתברויות שהמודל הקצה לכל מספרי האפשרויות בעמדה הזו, ומנרמלת אותן על פני האפשרויות.

המימוש מריץ את GLM-5.3-Flash על vLLM ומשתמש ב-/chat/completions עם הפרמטרים continue_final_message ו-add_generation_prompt: false. allowed_token_ids של vLLM מצמצם את אוצר המילים למספרי האפשרויות בלבד, ו-logprob_token_ids מחזיר את לוג-ההסתברויות של הטוקנים המבוקשים בדיוק.

דיוק ברמה של Jev

המחברים בחנו שלוש מערכות על 29 מערכי נתונים ציבוריים ומתויגים, עם 2 עד 151 אפשרויות, מניתוב כוונות ועד מסמכים סרוקים, באנגלית ובגרמנית. על 28 מערכי הטקסט GLM-5.3-Flash ו-Jev צמודים: כל אחד מדויק יותר ב-10 מערכים, בשמונה הפער קטן מנקודת אחוז אחת, והפער החציוני של 0.7 נקודות לטובת Jev אינו מובהק סטטיסטית (p = 0.64). Laya, מודל עם 421 מיליון פרמטרים שרץ מקומית, מפגר אחרי שניהם ב-13 עד 15 נקודות.

זמן תגובה, מחיר ותמונות

זמן התגובה תלוי במיקום: במדידה של בקשה אחת בכל פעם השיב Privatemode תוך 180 מילישניות מגרמניה, לעומת 264 מילישניות של Jev; מארצות הברית הסדר מתהפך, 164 מילישניות ל-Jev ו-299 ל-Privatemode. במחיר, Jev זול יותר: מיליון החלטות עולות כ-62 אירו עם GLM-5.3-Flash וכ-16 אירו עם Jev. Jev מוסיף כ-270 טוקנים קבועים לכל שאלה ועוד 10 לכל אפשרות, ואילו הפרומפט של GLM-5.3-Flash מוסיף כ-55 ועוד 20.

מכיוון ש-GLM-5.3-Flash תומך בתמונות, שאלה יכולה לכלול תמונה; Jev ו-Laya עובדים עם טקסט בלבד. ב-RVL-CDIP, מערך של 1,600 מסמכים עסקיים סרוקים ב-16 קטגוריות, המודל מגיע לדיוק של 70.2%, כשהתמונה מוסיפה כ-1,350 טוקני קלט. המחברים מציינים גם מגבלה: הפעלת חשיבה מדויקת יותר, אך עולה כ-350 אירו למיליון החלטות.