OpenAI השיבה ל-Jev של TypeSafe עם Decisions API מבוסס Luna

OpenAI הציגה ביום שלישי את Decisions API בכנס DevDay השנתי. זו תשובת החברה למודלים של קבלת החלטות, שהפכו פופולריים בחודשים האחרונים בזכות Jev של TypeSafe. ה-API החדש מבוסס על מודל Luna, הקטן והזול ביותר בקו הנוכחי של OpenAI.

מה עושה Decisions API

שלא כמו מודלים של צ׳אט, מודל קבלת החלטות לא כותב טקסט. הוא מחזיר אחת מתשובות מוגדרות מראש ומוסיף לה ציון ביטחון. המפתח מעביר למודל שאלה, תשובות אפשריות והקשר, ובתמורה מקבל ציון שאפשר להשתמש בו ישירות בלוגיקה של האפליקציה.

לפי OpenAI, המודל שלה מחזיר תוצאה תוך 150 אלפיות שנייה, בעוד שאותה משימה לוקחת ל-GPT-6 Luna 1.6 שניות. דווקא המהירות הזו וציוני ביטחון ריאליסטיים יותר הופכים מודלים כאלה לשימושיים לסיווג תוכן, ניתוב בקשות או בחירת הפעולה הבאה של סוכן מתוך אפשרויות מוגבלות.

בין פרומפט למסווג מאומן

כיום רוב הצוותים פותרים את המשימה הזו עם מודל צ׳אט רגיל ופרומפט שנכתב בקפידה: הם מבקשים מהמודל לבחור אפשרות אחת מהרשימה, ואז קוראים את ההסתברויות של הטוקנים כדי לקבוע בקירוב ציון ביטחון.

החלופה היא אימון מסווג קטן. הוא מהיר וזול, אבל דורש נתונים מתויגים ואימון מחדש בכל פעם שקבוצת הקטגוריות משתנה. מודל קבלת החלטות נמצא בין שתי האפשרויות האלה: קטגוריות חדשות מועברות בפרומפט, ובתגובה חוזר ציון שימושי למפתח.

עבור OpenAI זה לא רעיון חדש לגמרי: ה-Moderation API שלה כבר מזמן מחזיר ציונים לפי קטגוריות במקום טקסט, אך שם OpenAI קובעת את הקטגוריות ולא המפתח.

גישה מוגבלת ושאלות פתוחות

נכון לעכשיו Decisions API זמין רק בגישה מוגבלת, והשחרור המלא מתוכנן לימים הקרובים. נציג OpenAI אמר ל-The New Stack שהוא יפרסם את הפרטים „בעת השחרור המלא“.

לא ידוע כמה יעלה קריאה אחת, כמה תשובות אפשריות מכיל בקשה אחת והאם מפתחים יוכלו להתאים את המודל לנתונים שלהם. שלוש התשובות האלה יקבעו אם Decisions API יהפוך לחלק סטנדרטי במסגרות עבודה של סוכנים, או יישאר כלי צר לצד מודלי צ׳אט.