ניתוח: OpenAI בעמדה טובה לשכפל במהירות את Jev

Jev של TypeSafe — המודל שמחזיר החלטות מכוילות במקום טקסט מיוצר — תפס תאוצה במהירות: לפי Vercel הוא "אומץ מהר יותר מכל מודל אחר בתולדות AI Gateway". ניתוח של Arcturus Labs מ-21 בספטמבר טוען ש-OpenAI נמצאת בעמדה טובה לשכפל אותו במהירות.

מודלים לשוניים מסווגים כבר שנים

נקודת המוצא: Jev מבוסס על משהו קרוב למודל שפה גדול רגיל — לפי Latent Space, גם רוב המשוכפלים המוקדמים שלו מבוססים על LLM. לפי הקריאה הזו Jev קורא את התפלגות ההסתברות של הטוקן הבא בשלב בודד: שאלת כן/לא מתבררת ביחס בין הטוקנים true ו-false, ושאלת בחירה מצטמצמת לאפשרויות הנקובות.

OpenAI עושה גרסה מצומצמת של זה מאז שנכנסו קריאות לכלים: מבפנים, הטוקן הראשון אחרי כותרת assistant מחליט אם לקרוא לכלי בכלל, והטוקנים הבאים בוחרים איזה כלי. אלה מסווגים מומחים, מציין הכותב — בעוד של Jev הם אמורים להיות כלליים.

החפיר: נתוני אימון ולמידת חיזוק

הארכיטקטורה אינה מגן של ממש, לפי הניתוח; החפיר הסביר הוא נתוני האימון והתהליך של TypeSafe. בדיון ב-X אמר שותף המייסד Diogo Almeida שהחברה רואה עצמה "מעבדת מחקר של נתונים", והנתונים שלה "כלליים באמת (מעין ליבה קוגניטיבית)" ו"סינתטיים ב-100%".

הכותב משער שמאגר כזה מצמיד מצבים לתוצאות ידועות כדי לאמן כיול כללי ולא ידע תחומי. אבל כל זה אינו חפיר אלא אם Jev אכן מדויק: הוא כבר מצא תחומים שבהם ההסתברויות שלו לא מחזיקות.

המהלך הבא של OpenAI

המסלול הברור הוא להעתיק את Jev ולהשיק סוג מודל חדש; ל-OpenAI יש את הידע, החומרה והמימון. המסלול המעניין יותר הוא להטמיע סיווג ב-LLM רגילה: המודל יוכל לפלוט תג כמו <prediction> בתוך מהלך החשיבה, ושכבת ההגשה תקרא את ה-logits של הטוקנים true ו-false ותכתוב את התוצאה המכוילת כטקסט.

יכולת כזו תאפשר למודל לבדוק הנחות של עצמו תוך כדי חשיבה, לסמן קריאה מסוכנת לכלי או ניסיון prompt injection ולנתב עבודה בין מודלים גדולים לקטנים.

מה זה אומר עבור TypeSafe

אם את החפיר באמת קשה להעתיק, TypeSafe כנראה תשרוד — ואולי אף תירכש על ידי OpenAI במקום להתחרות בה; אם החפיר דק, החלון של TypeSafe ייסגר מהר. Almeida אמר ל-Latent Space: "אם איכות המודל חשובה, נהיה בעמדה טובה מאוד לשנים רבות".