GPT-6-Astra מוביל עם דיוק של 98% בבנצ'מרק לפיזיקה תיאורטית

תוצאות הבנצ'מרק

35 חוקרים מהמרכז הבינלאומי למדעים תיאורטיים, מאוניברסיטת הרווארד, מ-KU Leuven ומ-Google DeepMind פרסמו את TheoPhysEval, בנצ'מרק עם 50 בעיות מחקר פיזיקה תיאורטית לא-פתורות בעלות תשובות ניתנות לאימות. GPT-6-Astra שפעל בסביבת התכנות של OpenAI Codex ענה נכון על 49 מתוך 50, כלומר 98%, במחיר ממוצע של פחות מ-3 דולרים לבעיה אחת, ובסך הכל פחות מ-116 דולרים עבור כל הבנצ'מרק.

Opus 5.5 של Anthropic שפעל ב-Claude Code קבע 92%. Gemini 3.8 Flash של Google קבע 68%, DeepSeek-V4.1-Flash ו-GLM 5.3 קבעו בהתאמה 54% ו-42%. כל סוכן הורץ פעמיים: עם חיפוש ברשת ובלעדיו.

מה הבעיות בוחנות

הבנצ'מרק כולל שלושה עשר תת-תחומים, מזרימות נוזלים ותהליכים ביולוגיים ועד פיזיקת חלקיקים וקוסמולוגיה. המחברים התמקדו בעבודות מחקר שגרתיות ולא בשאלות פתוחות מרכזיות; הם מתארים את הבעיות כמשימות מסוג "ריצת מרדף", שבהן שיטות מוכרות מיושמות על ערכים שונים מעט. למומחה מוביל נדרש בעיה טיפוסית בערך יום או פחות, ולמומחים בתחומים שכנים נדרש יותר זמן.

גישה לאינטרנט כמעט לא שינתה דבר. ללא חיפוש ברשת, Astra ו-Opus קבעו כל אחד 92%. לדברי המחברים, זה מצביע על כך שהמודלים הלשוניים המובילים שיזכרו בפועל חלק גדול מהספרות של פיזיקה תיאורטית. מספר טעויות יוחסו מאוחר יותר לשגיאות בפתרונות ייחוס ולא לשגיאות של המודל.

מחישובים ועד תגליות

המחברים טוענים שחלק מהמודלים החזקים ביותר עשויים כבר לעקוף את החוקרים האנושיים הטובים ביותר בחישובים ספציפיים, אך הפיזיקה התיאורטית עדיין לא הגיעה לשלב כמו זה של פתרון בעיות פתוחות במתמטיקה על ידי AI. הם טוענים שחישוב ניתן לאימות נמצא בסוף המחקר. עד אז על החוקרים לבנות תיאוריה, לשאול שאלות נכונות ולעבור כשהבעיה מורכבת מדי. לסוכנים הנוכחיים חסרה השיפוט הזה, או מה שהפיזיקאים מכנים טעם מדעי.

המחברים גם בוחנים את התוצאות מבחינת הכשרה וגישה. בעיות שהיו מאתגרות פעם לחוקרים מתחילים, עשויות לא להיות הולמות אם המטרה היא רק לחגוע חומר. הם מצפים שעלויות בבעיות קשות יותר תגדל באופן משמעותי, וטוענים שעל הפיזיקה התיאורטית לשקול גישה והזדמנויות שוות לפני שסוכנים מוכשרים יחליפו את התחום.

מקורות: The Decoder