בנצ'מרקים חושפים פגמים בהיגיון של AI, מודלים חדשים במשקל פתוח מחרידים את סין

Import AI 476 כולל בנצ'מרקים שבודקים פגמים במודלי AI, מודלים חדשים במשקל פתוח מסטארטאפים מערביים ומאמץ ממשלתי לאחד מחשבי-על לאימון AI.

Humanity's Sixth Sense חושף פגמים בהיגיון ויזואלי

סטארטאפי AI, Elorian ו-Scale AI, שיחררו את Humanity's Sixth Sense (HSS), בנצ'מרק שמודד כיצד מודלים מסיקים מסצנות ויזואליות על בסיס מידע מובנה אך לא גלוי. 522 שאלותיו כוללות 288 תמונות ו-234 קליפי וידאו, בסך הכל 17.6 שעות, עם דינמיקה זמנית וסיבתית, לוגיקה פיזית ומרחבית, הבנה חברית ומסקנות מופשטות והקשריות.

אנשים משיגים בממוצע 93.1 ב-pass@1, בעוד מערכת AI הטובה ביותר, GPT 6 Astra, משיגה 53.6. מודלים סיניים במשקל פתוח נכשלים: GLM-5.3-flash 26.8, Kimi K3 25.5. הכשל הנפוץ ביותר היה הימנעות מפרטי תשובה מגדירים (21%), ולאחריו זיהוי שגוי של אובייקט, אדם או תפקיד (20%). התוצאות מעמיעים את ההנחה שהיגיון ויזואלי דורש מודלים מיוחדים של עולמות 2D ו-3D.

חוש המחקר של AI משתפר במהירות

בנצ'מרק TasteVal של P-Zero Research מעריך האם מודלים יכולים לבחור בעיות מעניינות, לתכנן ניסויים ולפרש תוצאות בשמונה משימות: אצוי נתוני אימון מוקדם, מידול העדפות ועמידות מול פרומפטים אויבים. התוצאות מושוות ל-24 מומחים, ביניהם מ-OpenAI, Google DeepMind, NVIDIA ו-Microsoft Research.

לדברי המחברים, חוש המחקר הניסויי מכפיל את עצמו כל 3.0 חודשים מדצמבר 2025, והמודל הטוב ביותר, Opus 5.5, עולה על קו הבסיס האנושי במכפילה חישובית של 2.30x, בעלות ממוצעת של כעשירית ממאמצי המומחים. ג'ק קלארק מצהיר שזה מחזק את הרעיון ששיפור עצמי רקורסיבי מלא יגיע ב-2027 ולא ב-2028.

מודלים חדשים במשקל פתוח מחרידים מתחרים סיניים

Reflection הציגה את Beam, מודל מיזוג מומחים עם 501 מיליארד פרמטרים ו-23 מיליארד פרמטרים פעילים, ליעילות טוקנים. ארבעה שבועות אומן מראש על 6 144 GB300 NVL72 GPU, ולאחר מכן בלמידה מחזקת על כ-10 500 GPU מאותו סוג, עם 23.8 טריליון טוקנים. Beam משיג 44.4 נקודות ב-DeepSWE 1.1, מול 61 של GLM-5.3, אך שווה ערך ל-GLM-5.2 עם פי ארבעה פחות חישובי הסקה. המשקלים והדוח הטכני מתוכננים לסוף החודש.

Mistral הכריזה על Mistral Large 4, מודל במשקל פתוח למשימות סייבר, עם פחות כשלים ממודלים קנייניים של Anthropic ו-OpenAI. הוא אומן על 3 800 NVIDIA Grace Blackwell GPU במרכזי נתונים אירופיים. יש לו 62 נקודות ב-DeepSWE 1.1, מול 68 של Kimi K3; לטענת Mistral, בבדיקות פנימיות משתמשים העדיפו את ML4 על CAD ו-STEM, והתחרות שווה עם GLM-5.3 בפיננסים ובקידוד.

מעבדות ממשלתיות מאחדות מחשבי-על ל-AI

שני פרויקטים של מחלקת האנרגיה האמריקאית מראים כיצד למידה פדרלית מפזרת משימות AI על מעבדות לאומיות. חוקרים אימנו מודלים מבוססי LLaMA על מערכות Sandia, Lawrence Livermore ו-Los Alamos, כולל El Capitan, ו-LLaMA-2 7B כוונה על נתוני כימיה על כ-1 700 GPU של Intel, NVIDIA ו-AMD ב-Argonne, Oak Ridge ו-Berkeley Lab. המחברים מציינים שהקנה מידה נמוך בכ-100x מקו החזית, אך רואים בגישה הפדרלית נקודת זינוק.

מקורות: Import AI