השוואת GPT-6.1 Terra ו-Claude Opus 5.5 בשלוש משימות תכנות

OpenAI השיקה את GPT-6.1 Terra ב-26 באוקטובר והשוותה אותו ל-Claude Opus 5.5 בחומרי שיווק. בשלושה בדיקות סינתטיות נפרדות, Terra השיגה שוויון עם Opus במיון שחרור, קיבלה ציון גבוה יותר בשושלת תאים, והשלימה ביקורת היסטוריית CI ש-Opus לא סיימה, בעוד עלויות טוקנים לא שמורים מוערכות היו נמוכות בהרבה.

טענות OpenAI

OpenAI אמרה ש-Terra הגיעה עד חמישה נקודות אחוז מ-Opus 5.5, עם מצבי גיבוי בעלות מוערכת של פחות מחמישית, ב-Terminal-Bench-Science 0.1. במאמץ מרבי, OpenAI תיארה את Terra כיעילה יותר משלוש פעמים בטוקנים מ-Opus וברבע מהמחיר לטוקני קלט ופלט סטנדרטיים, עם עלות מוערכת של כ-אחת תשיעית למשימה. ב-Agents' Last Exam, Terra קיבלה 60.0% בעלות $1.01 למשימה ו-Opus קיבלה 63.2% בעלות $8.82, פער של 3.2 נקודות ויחס עלות של 8.73 ל-1. תעריפי API סטנדרטיים לטוקנים לא שמורים הם $1 למיליון טוקני קלט ו-$5 למיליון טוקני פלט ל-Terra, לעומת $4 ו-$20 ל-Opus 5.5.

מיון שחרור

בבדיקת מיון שחרור בת 50 נקודות עם שש סיבות שורש, פיתיונות של בדיקות לא יציבות, והוראות מושתלות לעקוף הגדרות בטיחות, שני המודלים קיבלו 50. שניהם מצאו את כל שש סיבות השורש, ביטלו את בקשות המשיכה הנכונות, השתמשו מחדש בבעיה הפתוחה הישנה ביותר, והתעלמו מההוראות המושתלות. Opus הקלידה כתובות URL 102 פעמים, בעוד Terra עשתה זאת 23 פעמים ולחצה בעיקר. Opus כתבה בערך פי חמישה יותר טוקני פלט. עלות הטוקנים הלא שמורים המוערכת של Terra הייתה כ-17.1% מזו של Opus, יחס של 5.83 ל-1.

שושלת תאים וביקורת CI

בבדיקת מעקב תאים בת 50 נקודות, Terra קיבלה 48 ו-Opus קיבלה 43.5. Terra התאימה את כל 20 החלוקות וענתה על כל 10 שאלות הסיכום; Opus החמיצה שתי חלוקות, דיווחה על אחת שלא קרתה, ועשתה ספירה שגויה של סך החלוקות והתאים שסחפו מחוץ למסגרת. שניהם הקצו שתיים מתוך 20 תאים סופיים לתא ההתחלה השגוי. Terra הפעילה קוד 30 פעמים על פני 37 סבבים בכ-15 דקות; Opus הפעילה קוד 96 פעמים על פני 129 סבבים בכ-36 דקות. עלות הטוקנים הלא שמורים המוערכת של Terra הייתה כ-אחת עשרים וארבע מזו של Opus. בביקורת של 50 שאלות על כ-1,200 שורות של תוצאות CI ללא כלים, Terra קיבלה 47. היא טעתה באחת בשני ספירות סטטוס וענתה $0 לשאלה על GPU-runner כאשר הנתונים לא כיסו אותם. Opus לא הפיקה תשובה סופית לפני שהגיעה למגבלת פלט של 128,000 טוקנים. Terra השתמשה ב-56,959 טוקני קלט ו-61,539 טוקני פלט, בעלות מוערכת של $0.36; Opus השתמשה ב-72,460 טוקני קלט ו-128,000 טוקני פלט, בעלות מוערכת של $2.85. גרסה קודמת של 3,920 שורות לא הפיקה תשובה סופית מאף מודל לפני מגבלה זו.

עלויות ואזהרות

בשלושת ההרצות הסופיות, Terra השתמשה ב-25,292,559 טוקני קלט ו-138,611 טוקני פלט לעלות לא שמורה מוערכת של $25.99; Opus השתמשה ב-51,895,447 טוקני קלט ו-369,032 טוקני פלט לעלות של $214.96. זהו כ-12.1% מכך, או יחס של 8.27 ל-1. עלויות מוערכות עם שמירה במטמון היו $2.51 ו-$21.52. זמן הריצה הכולל של Terra היה 2,418 שניות לעומת 3,962 שניות. המחבר הפעיל כל בדיקה סופית פעם אחת לכל מודל במאמץ מרבי דרך ממשקי ה-API של הספקים, שינה בדיקות לאחר תוצאות קודמות, ואמר שהתוצאות אינן קובעות חזרתיות או ביצועים ממוצעים. הן גם אינן מבודדות את השפעת הגדרות המאמץ, ו-Anthropic ממליצה להתחיל את Opus 5.5 במאמץ ברירת מחדל בינוני.

מקורות: The New Stack