המודלים הקטנים הגיעו: למה הסקה זולה משנה את הכלכלה של מוצרי AI

בטקסט שפורסם ב-26 באוגוסט טוען קלווין פרנץ'-אוון, ממייסדי Segment, שמודלים לשוניים קטנים ומהירים הפכו בשקט לטובים מספיק לעבודה אמיתית. הדוגמה המרכזית שלו היא gpt-5.6-luna, שבו הוא משתמש כבר שבועות: הוא מפיק כ-100 טוקנים בשנייה ונע בנוחות בין בסיס הקוד, המייל ובסיס הידע שלו.

מחסום העלות של AI לצרכנים

פרנץ'-אוון מזכיר שאלה שחוזרת אצל משקיעים: למה אין עוד חברות AI לצרכנים? התשובה שלו היא עלות הטוקנים. לפני עידן ה-AI המתכון לאפליקציות צרכניות היה: להקים אתר זול, למשוך משתמשים, לגייס כסף ולהתרחב, ואז לבנות זירת פרסום — פחות או יותר המסלול של Google, Facebook ו-Snapchat. הוספת AI משנה את החשבון, כי כל בקשה נושאת עלות הסקה אמיתית וההון הנדרש גדל בחדות.

הוא ממחיש זאת במבחן אישי: בקשה שמבקשת מסוכן לחקור אדם באינטרנט, לאתר את החדשות שעשויות לעניין אותו ולהרכיב עבורו מיקרו-אתר מותאם. עם הדור הקודם של מודלים, מקבוצת Sonnet, הרצה אחת עלתה כדולר, מה שהופך מנוי ב-30 דולר לחודש לבלתי כלכלי. עם luna, לדבריו, התוצאות סבירות והעלות הממוצעת כ-0.10 דולר. הוא מוסיף כי GLM 5.3 נמצא כעת על חזית פארטו ומעניק לקונים אפשרות נוספת.

טוקנים זולים וצורת העבודה

פרנץ'-אוון מרחיב את הטיעון לעסקים. בטיול לאחרונה תיאר חברו ושותפו ל-Segment, פיטר, שני סוגי עבודה: עבודת «IQ 180», שבה מישהו מוצא פתרון שאיש לא חשב עליו, ועבודת «משפריץ הטוקנים» — להיות זמין תמיד ולדחוף קדימה עשרות חזיתות במקביל. פיטר גייס יותר מ-100 מיליון דולר ל-Charm Industrial וסגר לאחרונה סבב Series A ל-Revoy, ובכל זאת הוא מעריך שכ-95% מעבודתו שייכת לסוג השני. רוב «הטוקנים האנושיים» בחברות מתבזבזים כך היום, וגם הגיוסים נוטים לטיפוס הזה.

המסקנה שלו אינה שמודלים בחזית מאבדים מחשיבותם. הוא מצפה שהביקוש ליכולת הגבוהה ביותר ימשיך לגדול בתחומים שדורשים פריצות אמיתיות — הנדסה, מדע בסיסי ואימון מודלים. אבל הביקוש למודלים מהירים, זולים ו«טובים מספיק», לדעתו, עומד לזנק, ולשם כך עדיין נדרשים כלי הרצה חדשים, הגנה מפני הזרקת פרומפטים, תפקידים והרשאות.