Kıyaslamalar AI akıl yürütmenin zayıflığını gösteriyor; yeni açık ağırlık modelleri Çinli rakiplerin geride kalıyor

Import AI 476, AI modellerinin zayıflıklarını test eden kıyaslamaları, Batılı girişimlerin yeni açık ağırlık modellerini ve AI eğitimi için süperbilgisayarları birleştirme çabasını kapsıyor.

Humanity's Sixth Sense görsel akıl yürütmenin zayıflıklarını ortaya koyuyor

AI girişimleri Elorian ve Scale AI, modellerin görsel ama bilinmeyen bilgileri açıkça verilmeyen sahnelerde nasıl akıl yürüttüğünü ölçen Humanity's Sixth Sense (HSS) kıyaslamasını yayımladı. 522 soru, toplam 17,6 saatlik 288 görseli ve 234 video klibi kapsar; zamansal ve nedensel dinamikleri, fiziksel ve uzamsal mantığı, sosyal anlayışı, soyut ve bağlamsal çıkarımları içerir.

İnsanlar pass@1'de ortalama 93,1 puan alırken en iyi AI sistemi GPT 6 Astra 53,6 puan aldı. Çinli açık ağırlık modelleri geride kaldı: GLM-5.3-flash 26,8, Kimi K3 25,5. En sık başarısızlık yanıtı belirleyen ayrıntının atlanmasıydı (%21); ardından nesne, insan veya rolün yanlış tanınması (%20). Sonuçlar, görsel akıl yürütmeye özel 2B ve 3B dünyasına sahip modellerin gerekli olduğu varsayımını zayıflatıyor.

AI araştırmacı sezgisi hızla gelişiyor

P-Zero Research'in TasteVal kıyaslaması, modellerin sekiz görevde ilginç problemleri seçip deneyler planlayıp sonuçları yorumlayıp yorumlayamayacağını değerlendirir: ön eğitim verilerinin küratörlüğü, tercihlerin modellenmesi ve düşmanca istemlere karşı dayanıklılık. Sonuçlar 24 uzmanla karşılaştırılır; aralarında OpenAI, Google DeepMind, NVIDIA ve Microsoft Research yer alır.

Yazarlara göre deneysel araştırmacı sezgisi Aralık 2025'ten itibaren her 3,0 ayda ikiye katlanıyor; en iyi model Opus 5.5 ise insan temel hızını 2,30x çarpanla aşıyor ve uzman çabasına göre ortalama maliyet onda birine düşüyor. Jack Clark, bunun tam özyinelemeli öz iyileştirmenin 2028 yerine 2027'de gerçekleşeceği öne sürüşünü güçlendirdiğini söylüyor.

Yeni açık ağırlık modelleri Çinli rakiplerin geride kalıyor

Reflection, token verimliliği için 23 milyar aktif parametreli, 501 milyar parametreli uzman karışımı model Beam'i sundu. Dört hafta 6 144 GB300 NVL72 GPU'da ön eğitim yaptılar; ardından yaklaşık 10 500 aynı GPU'da 23,8 trilyon token ile pekiştirmeli öğrenme uyguladılar. Beam, DeepSWE 1.1'de 44,4 puan alıyor; GLM-5.3'ün 61 puanına karşı üç ila dört kez daha az çıkarım hesaplamasıyla GLM-5.2 ile eşit. Ağırlıklar ve teknik rapor bu ayın sonunda planlanıyor.

Mistral, siber güvenlik görevleri için Anthropic ve OpenAI'nin tescilli modellerine kıyasla daha az reddiyle açık ağırlık modeli Mistral Large 4'ü duyurdu. Model, Avrupa merkezli veri merkezlerinde 3 800 NVIDIA Grace Blackwell GPU'da eğitildi. DeepSWE 1.1'de 62 puan alıyor ve Kimi K3'ün 68 puanına karşı; Mistral'e göre iç testlerde kullanıcılar ML4'ü CAD ve STEM'de daha çok beğeniyor, finans ve kodlamada GLM-5.3 ile eşit seviyede.

Devlet laboratuvarları AI için süperbilgisayarları birleştiriyor

ABD Enerji Bakanlığı'nın iki projesi, federatif eğitimin ulusal laboratuvarlarda AI işlerini nasıl dağıtıyor olduğunu gösteriyor. Araştırmacılar LLaMA tabanlı modelleri Sandia, Lawrence Livermore ve Los Alamos sistemlerinde, bunların arasında El Capitan'da eğittiler; LLaMA-2 7B ise kimya verilerinde yaklaşık 1 700 Intel, NVIDIA ve AMD GPU'da Argonne, Oak Ridge ve Berkeley Lab'de ayarlandı. Yazarlar ölçeğin öncü çizgiden yaklaşık 100x geride olduğunu, federatif yaklaşımın ise başlangıç olarak görüldüğünü belirtiyor.

Kaynaklar: Import AI