GPT-6 Astra: עמלת 272K טוקנים מכפילה את כל הבקשה ולא רק את החריגה

הסף של 272K

OpenAI שיחררה את GPT-6 Astra ב-3 בספטמבר 2026, ובימים שלאחר מכן הפיצה אותו בשלבים לתוכניות ChatGPT, ל-API ול-AWS Bedrock. למודל יש חלון הקשר של כ-1.05 מיליון טוקנים, שימוש טוב יותר בכלים ושמירה מדויקת יותר על הוראות; המחיר הוא 10 דולר למיליון טוקנים נכנסים, 50 דולר למיליון טוקנים יוצאים ו-1 דולר למיליון קריאות נכנסות ממוזגות. כלל שטמון בתיעוד המחירים משנה את המתמטיקה: בקשות שבהן הפרומפט הנכנס עולה על 272 000 טוקנים נספרות עבור כל הבקשה בעמלת כניסה כפולה ובעמלות מטמון, וגם בעמלת יציאה מוכפלת ב-1.5, ולא רק על החלק החורג.

המתמטיקה

270 000 טוקנים נכנסים ו-10 000 טוקנים יוצאים עולים בעמלות רגילות 3.20 דולר. אם מגדילים את הקלט ל-275 000 טוקנים, אותה בקשה תעלה 6.25 דולר. הוספת 5 000 טוקנים מגדילה את החשבון ב-3.05 דולר, כי כל טוקן שהיה קיים עד הסף מחושב מחדש באופן רטרואקטיבי. אם 5% מתוך 10 000 בקשות ביום חורגות מהסף, העמלה הנוספת מוסיפה כ-1 500 דולר ביום, יותר מחצי מיליון דולר בשנה, וזה נגרם לחלוטין מפרומפטים שנפלו לקטגוריה לא נכונה.

למה הסף נשאר מחוץ לטלמטריה

שלושה גורמים מאפשרים להתעלם מהסף בסביבת ייצור. מספר הטוקנים אינו ידוע עד שהפרומפט עובר טוקניזציה, והערכה לפי מספר תווים נעה בין 10% ל-20% בהתאם לתוכן. התשובה של ה-API מחזירה שדות usage סטנדרטיים בלי דגל תוסף מתועד, ולכן צוותים צריכים להשוות בעצמם את הטוקנים הנכנסים ל-272 000 בכל בקשה, בצינור מטריקות משלהם. ומכיוון שהתוסף נוגע לכל הבקשה, פרומפט של 275 000 טוקנים עולה כמעט אותו מחיר כמו פרומפט של 500 000 טוקנים, בעוד פרומפט של 270 000 טוקנים עולה כמעט מחצית ממחיר פרומפט של 275 000 טוקנים. העומסים הרגישים ביותר הם צינורות RAG עם הקשר ארוך, עקבות סוכן שאוסף קריאות כלים וניסיונות חוזרים, וסקירת קוד על דיפים גדולים.

גילוי והגנה

הפתרון המומלץ הוא תקציב טוקנים מגן: לפני שליחה חשבו את טוקני הפרומפט עם tiktoken, עם סף בטיחות נמוך מ-272 000, ופצלו את הפרומפט אם p95 של טוקנים נכנסים עולה על 260 000, כדי לתפוס את המעבר לסף מראש. עבור צינורות RAG שילבו פסקאות שנקראו בתקציב הטוקנים ולא בכמות top-K קבועה. עבור סוכנים קצרו את היסטוריית ההודעות כשהיא עולה על כ-200 000 טוקנים. עבור עומסים ארוכים באמת, מטמון פרומפט שמעל לסף עדיין שומר על עמלה זולה פי 10, ועמלות batch או flex נמכרות ב-50% מהעמלות הרגילות עבור עבודות עמידות להשהיה. מצב Fast, שהוא כפול מהעמלות הרגילות, מוסיף תוסף ולא צריך לשלב אותו איתו.

מקורות: Hackernoon