Benchmarklar AI-nin qərarvermə zəifliklərini nümayiş edir, yeni açıq çəki modelləri Çinə geridüşür

Import AI 476 AI modellərinin zəifliklərini yoxlayan benchmarkları, qərb startaplarının yeni açıq çəki modellərini və hökumətin AI təlimi üçün superkompüterləri birləşdirmə cəhdlərini əhatə edir.

Humanity's Sixth Sense vizual qərarvermə zəifliklərini nümayiş edir

Elorian və Scale AI startapları Humanity's Sixth Sense (HSS) adlı benchmarkı buraxdı, bu modellərin aydın, lakin aşkar olmayan məlumatlarla vizual səhnələri necə həll etdiyini ölçür. Onun 522 sualı 288 şəkil və 234 video klipdən, cəmi 17,6 saatdan, vaxt və səbəb-nəticə dinamikasından, fiziki və məkansal loqikadan, sosial başa düşmədən, abstrakt və kontekstual nəticələrdən ibarətdir.

İnsanlar pass@1-də ortalama 93,1 toplayır, ən yaxşı AI sistemi GPT 6 Astra isə 53,6. Çin açıq çəki modelləri geridüşür: GLM-5.3-flash 26,8, Kimi K3 25,5. Ən çox rast gəlinən uğursuzluq cavabı müəyyən edən detalın buraxılması idi (21%), daha sonra obyektin, insanın və ya rolan səhv tanınması (20%). Nəticələr vizual qərarvermənin xüsusi 2D və 3D dünya modellərinə ehtiyacı olduğu fikrini zəiflədir.

AI tədqiqat isə tez inkişaf edir

P-Zero Research-in TasteVal benchmarkı modellərin maraqlı problemləri seçmə, eksperimentlər planlaşdırma və nəticələri şərh etmə bacırğını qiymətləndirir: əvvəlcədən təlim məlumatlarının kurasiyası, üstünlüklərin modelləşdirilməsi və adversar promptlarla davamlılıq. Nəticələr 24 ekspertdən, o cümlədən OpenAI-dan, Google DeepMind-dan, NVIDIA-dan və Microsoft Research-dan müqayisə olunur.

Müəlliflərin dediyinə görə, eksperimental tədqiqat isə 2025-ci il dekabrından hər 3,0 ayda ikiqat artır, ən yaxşı model Opus 5.5 isə insan əsas xəttini 2,30x hesablanan ədəd ilə aşır, ekspertlərin cəhdlərinə ortalama xərcin təxminən iyirmidəfəsidir. Jack Clark bunun tam rekursiv özünü təkmilləşdirmənin 2028-ci ildə deyil, 2027-ci ildə baş verəcəyi fikrini gücləndirdiyini söyləyir.

Yeni açıq çəki modellər Çin rəqiblərinə geridüşür

Reflection, 501 milyard parametrli ekspert qarışıq modeli Beam-i təqdim etdi, 23 milyard aktiv parametr, tokenlərin effektivliyi üçün. Dörd həftə 6 144 GB300 NVL72 GPU-da əvvəlcədən təlim verildi, daha sonra gücləndirmə təlimi ilə təxminən 10 500 eyni GPU-da, 23,8 trilyon token ilə. Beam DeepSWE 1.1-də 44,4 bal toplayır, GLM-5.3-ün 61-ə qarşı, lakin GLM-5.2-yə dörd dəfə az inferensiya hesablaması ilə bərabərdir. Çəkilər və texniki hesabat bu ayın sonunda planlaşdırılır.

Mistral, kiber tapşırıqlar üçün açıq çəki model Mistral Large 4-ü elan etdi, Anthropic və OpenAI-nin proprietar modellərindən az rədd etməklə. Avropa mərkəzlərində 3 800 NVIDIA Grace Blackwell GPU-da təlim verildi. DeepSWE 1.1-də 62 balı var, Kimi K3-ün 68-ə qarşı; Mistral-in dediyinə görə, daxili testlərdə istifadəçilər ML4-ü CAD və STEM-də daha çox bəyəndilər, maliyyə və kodlaşdirmada isə GLM-5.3 ilə bərabər rəqabət edir.

Dövlət laboratoriyaları AI üçün superkompüterləri birləşdirir

ABŞ Energetika Departamentinin iki layihəsi federativ təlimin AI işlərini milli laboratoriyalara necə böləcəyini göstərir. Araşdırmacılar LLaMA əsaslı modelləri Sandia, Lawrence Livermore və Los Alamos sistemlərində, o cümlədən El Capitan-da təlim verdi, LLaMA-2 7B isə kimya məlumatları üzrə təxminən 1 700 Intel, NVIDIA və AMD GPU-da Argonne, Oak Ridge və Berkeley Lab-da tuninq edildi. Müəlliflər miqyasın ən qabaqcıl sərhəddən təxminən 100x geridüşdüyünü, lakin federativ yanaşmanı başlanğıc kimi qiymətləndirdiklərini qeyd edir.

Mənbələr: Import AI