Gemini 4 Argon ו-Claude Opus 5.5: בדיקות עצמאיות מציגות תוצאים מעורבים

Google הציגה את Gemini 4 Argon לקבוצה קטנה של בודקים ב-30 בספטמבר וגם פרסמה טבלת בנצ'מארק שדירגה את Argon לפני Claude Opus 5.5 ב-14 מתוך 18 מבחנים, כולל DeepSWE (77,9% מול 74,2%) ו-GraphWalks מ-256K ועד 1 מיליון טוקנים (84,2% מול 66,8%). ב-13 באוקטובר Google פתחה את Argon למפתחי Gemini API בתשלום.

חלון מחירים

עד 30 בנובמבר מחירו של Argon הוא 2 דולר למיליון טוקנים נכנסים ו-10 דולר למיליון טוקנים יוצאים, כלומר מחצית ממחירו של Opus 5.5. החל מ-1 בדצמבר המחיר יעלה ל-4 דולר ו-20 דולר, כמו Opus. Google פרסמה גם היכן Opus מוביל, כולל Terminal-bench 4.0 (66,4% מול 57,4%), שבודק פעילות של סוכן בשורת הפקודה. המחבר ציין שבנצ'מארקים לא תמיד תואמים עבודה אמיתית, ולתקופת מחיר חצי יש משמעות רק אם המודל שווה באיכות למתחרה.

המחבר הריץ כל משימה פעם אחת לכל מודל דרך OpenRouter, בשרתים של Google ושל Anthropic ובהגדרות ההסקה הרגילות. אלה תוצאות של הרצות בודדות, ולא אומדני דיוק המבוססים על ניסויים חוזרים.

מבחני קוד

במצוד באגים בספריית Python בת 3 500 שורות, שבה הוטמעו 14 באגים לוגיים וחמישה רמזים מטעים, שני המודלים מצאו את כל 14 הבאגים ולא סימנו אף רמז מטעה, ולאחר מכן תיקנו כך שכל 93 המבחנים הקיימים עברו שוב. ל-Argon הייתה עלות ממוצעת של כ-1 סנט לכל באג שנמצא, ול-Opus 2,4 סנט. במפרט החיוב, שהוערך ב-80 מבחנים חבויים, Opus עבר את ה-80, ולאחר בדיקות מטבע נוספות גם את ה-100; Argon עבר 11 מתוך 80 ו-20 מתוך 100. סיבת הכשלון של Argon הייתה שורה אחת שהעבירה ארגומנט מיותר לפונקציה datetime.combine() של Python; אחרי תיקון ידני Argon צבר 80/80 ו-100/100.

הקשר ארוך ומסקנה

בוויקי מלאכותית של 400 שירותים, שני המודלים ענו נכון על שתיים משלוש שאלות הגרף בכל גודל שהריצו בפועל. מסמך 900K חרג ממיליון טוקנים לפי הטוקנייזר של Claude, ולכן API של Anthropic דחה אותו ו-Opus לא הורץ בגודל זה. גודלי המסמכים הנומינליים אינם מייצגים מספר זהה של טוקנים בשני המודלים. הפער הופיע בשאלת blast radius: אילו 33 שירותים יפסיקו לפעול כששירות אחד נופל. ב-500K זיהה Opus את כל 33 השירותים וב-600K את 32 מהם, ללא שירותים שגויים. Argon זיהה ב-500K 20 שירותים נכונים והוסיף 8 שגויים, ב-600K 19 נכונים ו-16 שגויים וב-900K 23 נכונים ו-2 שגויים. Argon השתמש רק ב-243 עד 425 טוקנים יוצאים, לעומת יותר מ-5000 ב-Opus, וענה ללא הסקה גלויה שלב אחר שלב. המחבר ראה בשגיאות ההסקה סימן אזהרה חמור, אך ציין שלא ניתן להוכיח מהרצה אחת קשר סיבתי ביניהן לבין הפלט הקצר.

המחבר אמר שהתוצאות לא תאמו את הבנצ'מארקים של Google ושלא היה נותן אמון ללא סייג ב-Argon בשום משימה. בדירוג של Artificial Analysis Opus 5.5 מקבל 58 נקודות, ו-Argon 53. בסיכום המבחנים שכל מודל הריץ בפועל Argon עלה 4,98 דולר תוך 423,3 שניות; Opus 8,75 דולר תוך 511,0 שניות.

מקורות: The New Stack