Бенчмарки виявляють вади мислення AI, нові моделі з відкритими вагами відстають від Китаю

Import AI 476 включає бенчмарки, які перевіряють вади моделей AI, нові моделі з відкритими вагами від західних стартапів і спроби уряду об'єднати суперкомп'ютери для навчання AI.

Humanity's Sixth Sense виявляє вади візуального мислення

Стартапи AI Elorian та Scale AI випустили Humanity's Sixth Sense (HSS), бенчмарк, який вимірює, як моделі міркують на основі візуальних сцен, що є очевидними, але не явно показаною інформацією. Його 522 запитання включають 288 зображень та 234 відеокліпи, загалом 17,6 годин, часову та причинну динаміку, фізичну та просторову логіку, соціальне розуміння, абстрактні та контекстні висновки.

Люди набирають в середньому 93,1 у pass@1, найкраща система AI GPT 6 Astra — 53,6. Китайські моделі з відкритими вагами відстають: GLM-5.3-flash 26,8, Kimi K3 25,5. Найчастішою невдачею було пропуск визначальної деталі відповіді (21%), далі — неправильне розпізнавання об'єкта, людини або ролі (20%). Результати підривають припущення, що візуальне мислення потребує спеціальних моделей 2D та 3D світу.

Дослідницький смак AI швидко вдосконалюється

Бенчмарк TasteVal від P-Zero Research оцінює, чи можуть моделі обирати цікаві проблеми, планувати експерименти та інтерпретувати результати у восьми завданнях: курація даних для попереднього навчання, моделювання переваг та стійкість до адверсарних промптів. Результати порівнюються з 24 експертами, зокрема з OpenAI, Google DeepMind, NVIDIA та Microsoft Research.

За словами авторів, експериментальний дослідницький смак подвоюється кожні 3,0 місяці з грудня 2025 року, найкраща модель Opus 5.5 перевищує базову людську позначку з коефіцієнтом обчислень 2,30x, приблизно в двадцять разів за середні витрати на зусилля експертів. Джек Кларк каже, що це підсилює думку, що повна рекурсивна самовдосконалення настане у 2027, а не у 2028 році.

Нові моделі з відкритими вагами відстають від китайських конкурентів

Reflection представила Beam, модель суміші експертів з 501 мільярдом параметрів та 23 мільярдами активних параметрів, для ефективності токенів. Чотири тижні її попередньо тренували на 6 144 GB300 NVL72 GPU, потім навчали з підсиленням приблизно на 10 500 тих самих GPU, з 23,8 трильйонами токенів. Beam набирає 44,4 бали на DeepSWE 1.1, проти 61 у GLM-5.3, але зрівнюється з GLM-5.2 за три-чотири меншими обчисленнями інференсу. Ваги та технічний звіт заплановані до кінця цього місяця.

Mistral оголосила про Mistral Large 4, модель з відкритими вагами для кіберзавдань, з меншими відмовами, ніж у пропрієтарних моделей Anthropic та OpenAI. Її тренували в європейських датацентрах на 3 800 NVIDIA Grace Blackwell GPU. На DeepSWE 1.1 вона має 62 бали, проти 68 у Kimi K3; за словами Mistral, у внутрішніх тестах користувачам ML4 більше сподобався в CAD та STEM, а у фінансах та кодуванні він на рівні з GLM-5.3.

Урядові лабораторії об'єднують суперкомп'ютери для AI

Два проєкти Міністерства енергетики США показують, як федеративне навчання розподіляє роботу AI на національних лабораторіях. Дослідники натренували моделі на основі LLaMA на системах Sandia, Lawrence Livermore та Los Alamos, включаючи El Capitan, а LLaMA-2 7B налаштували на хімічних даних приблизно на 1 700 GPU Intel, NVIDIA та AMD в Argonne, Oak Ridge та Berkeley Lab. Автори зазначають, що масштаб відстає від передової лінії приблизно в 100x, але вважають федеративний підхід відправною точкою.

Джерела: Import AI