OpenAI שקלה לוותר על תמחור לפי טוקנים במודל הבא, אומר Sam Altman

OpenAI שקלה לסיים את התמחור לפי טוקנים עבור המודל הבא שלה ולגבות במקום זאת מחיר קבוע לכל פרומפט שהוגש, אך משוב שלילי מלקוחות הוביל את החברה לסגת, כך אמר המנכ״ל Sam Altman. הוא דן ברעיון בפודקאסט Cheeky Pint עם נשיא Stripe, John Collison. Altman אמר שהחיוב היה אמור לעבוד ״כמו AWS״, כאשר OpenAI שולחת חשבון לאחר העבודה במקום למדוד טוקנים.

רעיון תמחור במחיר קבוע

Altman נזכר ש-OpenAI ״כמעט קיבלה החלטה שהייתה שגויה״ כששקלה להפסיק לתמחר את המודל הבא שלה לפי טוקנים לחלוטין, ולעבור במקום זאת להסדר שבו מפתח מוסר פרומפט ו-OpenAI מחזירה מחיר. הוא לא נוקב בשם המודל המדובר ולא נותן לוח זמנים למועד שבו השינוי היה נשקל. לדבריו, החיוב היה אמור לעבוד ״כמו AWS״, כלומר ״פשוט עושים משהו ואנחנו שולחים לך חשבון״ במקום למדוד את ההחלפה טוקן אחר טוקן.

מדוע לקוחות התנגדו

הרעיון נתקל בהתנגדות כאשר OpenAI ניסתה להעריך כיצד לקוחות ירגישו לקבל מחיר בלי פירוט. ״תגובת הלקוחות לכך שלילית מאוד״, משחזר Altman, כשלקוחות אומרים לחברה, ״אני צריך לדעת איכשהו על מה אני משלם.״ מפתחים כבר משקיעים זמן רב במעקב אחר טוקני קלט ופלט כדי להוזיל עלויות ולהעריך כמה יוציאו ככל שהשימוש יגדל. קבלת מחיר בלי לדעת איך הוא חושב רק תקשה על כך.

העדפה לטוקנים גלויים

מה שהופך את ההודאה לשווה מבט שני הוא שלפי Altman, האנשים שאיתם התייעץ יעדיפו לשלם יותר כדי לשמור על השקיפות הזו. הוא הציג את השאלה בפני ״כמה אנשים״, ושאל אם ייקחו תעריף גבוה יותר עבור אותו פלט כל עוד התמחור יישאר בטוקנים עקביים, והתשובה, לדבריו, הייתה ש״הרבה יותר שתנפחו את הטוקנים ואני אשלם יותר״, כי ״אני יודע שיש שם דבר אמיתי״. מפתחים מתנגדים למחיר יחיד אטום, הוא מנמק, כי הם חושדים שבטווח הארוך ״איכשהו ידפקו אותי״, אותו אינסטינקט שגרם בעבר לקונים לשלם עבור שעות CPU במקום עבור עבודה גמורה. להצעה היו יכולות להיות השלכות משמעותיות למפתחים שבונים סוכנים, שתהליכי העבודה הרב-שלביים שלהם כבר צורכים כמויות בלתי צפויות של מחשוב ומקשים על תחזית ההוצאות אפילו תחת מודל התמחור הנוכחי לפי טוקנים. Altman לא מסביר איך OpenAI הייתה קובעת את המחירים לכל עבודה, או האם לקוחות היו יכולים להשוות חיוב אחד לאחר.

טוקנים נשארים למרות המגבלות

הנושא עלה כאשר Collison לחץ על Altman בשאלה אם טוקנים הם הדרך הנכונה למדוד שימוש ב-AI. Altman הודה במגבלות התמחור לפי טוקנים אך לא הייתה לו חלופה ברורה להציע. ״טוקנים הם סוג של יחידה מזויפת״, אמר. ״כלומר, הם אמיתיים במובן מסוים, אבל הם לא יחידה טובה.״ הוא דחה את ההצעה חצי ברצינות של Collison להמציא טוקן שווה ערך לאינטליגנציה, והשווה זאת לאופן שבו יצרניות שבבים עדיין משווקות נתוני ננומטר שאינם תואמים עוד לשום מדידה פיזית בשבב. Altman מודה שמפתחים סופגים תקורה אמיתית בבחירה בין מודל זול יותר למודל יכול יותר, במיוחד כשהם גם צריכים לנחש כמה הסקה משימה נתונה תדרוש. ״זו פשוט תקורה קוגניטיבית שלדעתי לא מוסיפה שום ערך״, אמר. ההחלפה הזו מגיעה בזמן ש-OpenAI ממשיכה להסתמך על תמחור לפי טוקנים, גם כש-Altman טען שעלות של רמת AI נתונה יורדת בערך פי עשרה בשנה. לעת עתה, התמחור לפי טוקנים נשאר על כנו, גם כש-Altman מודה בחסרונותיו ו-OpenAI מתקשה למצוא חלופה טובה יותר.

מקורות: The New Stack