Stanford ו-NVIDIA Research הציגו את CLM-8B, מודל System One מהיר להחלטות

מהו Contrastive Language Model

צוות מ-Stanford University ו-NVIDIA Research, בראשות ג׳קי קווק, הציג ב-23 בספטמבר את Contrastive Language Models (CLM).‏ המחברים מתארים את CLM כמחלקה חדשה של מודלי System One: במקום חשיבה שלב-אחר-שלב הוא מקבל החלטות מהירות ורפלקסיביות, ומחבר מקודד מצבים עם מקודד פעולות במרחב הטבעות משותף, תוך אימון בפונקציה קונטרסטיבית דו-כיוונית InfoNCE.

בעת השימוש שני המקודדים פועלים כמסווג פעולות ללא אימון (zero-shot): בהינתן מצב נוכחי וקבוצת פעולות מועמדות, CLM מדרג כל מועמד לפי דמיון קוסינוסי להטבעת המצב ובוחר את הגבוה ביותר.‏ כל מקודד משלב עמוד שדרה קפוא של LLM עם ראש הקרנה מאומן בן 20 מיליון פרמטרים, כך שרק הראש מקבל גרדיאנטים; אימון מקדים מלא על Nemotron DQA נמשך כשעה על RTX 4090 אחת.

מתכון נתונים תלת-שלבי

האימון המקדים מכסה כ-60 מיליון זוגות שאלות ותשובות מ-Nemotron DQA, כשהשאלה היא המצב והתשובה היא הפעולה.‏ בשלב הביניים מתווספים כ-30 מיליון שליליים קשים סינתטיים שנוצרו עם Gemini 2.5 Flash-Lite, ובאימון המסיים משתמשים בכמיליון מסלולי סוכנים מ-Agent Data Protocol.

ביצועים וזמן תגובה

במשימות שימוש במחשב, משחקים וקריאה לכלים CLM-8B משתווה ל-Jev ופועל עד פי 9 מהר יותר, ובכ-1,000 פעולות מועמדות הפער מגיע לפי 13.‏ לאחר כוונון דק כמאמת מסלולים הוא קובע שיא חדש ב-DeepSWE (81.6%) וב-Terminal-Bench 2.1 (87.6%), כשההסקה מהירה פי 4-6 מ-Jev על H100 GPU, על 38 ו-30 משימות שנשמרו למבחן.

תשתית וצעדים הבאים

תשתית ההגשה מפרידה בין מצבים לפעולות כך שההטבעות שלהם נשמרות במטמון בנפרד: כשמצב בלבד משתנה, כמו ב-Super Mario, כל צעד דורש מעבר אחד במקום חמישה.‏ הצוות גם גזר חוקי סקיילינג: הפסד קונטרסטיבי במבחן יורד לפי חוק חזקה עם העלייה בחישוב, בנתונים ובגודל המודל.‏ מודל מולטימודלי CLM-35B כבר באימון, עם שחרור מתוכנן לתחילת החודש הבא.