Kıyaslama: dokuz yapay zekâ ajanı açık ulusal laboratuvar araştırma sorularında uzman çıtasını geçemedi

Carnegie Mellon Üniversitesi araştırmacılarının öncülüğündeki bir ekip, ABD Enerji Bakanlığı ulusal laboratuvarlarındaki bilim insanlarıyla çalışarak yapay zekâ ajanlarının çözülmemiş araştırma sorularına bağımsız olarak yanıt verip veremeyeceğini sınamak için 'Into the Unknown' adlı bir kıyaslama oluşturdu. Dokuz güncel yapay zekâ ajanının 15 görevde ürettiği 135 gönderiden hiçbiri tüm uzman gereksinimlerini karşılamadı. Yazarlar, kıyaslama testini yapay zekânın bilime ait olup olmadığını sorgulamaktan çok, araştırma ajanlarını sistematik olarak geliştirmek için bir deneme alanı olarak sunuyor.

Kıyaslama nasıl işledi

Her ajana bir bilimsel makale, onun kodu ve verisiyle birlikte bir araştırma yönü verildi; ardından bir takip çalışması yapması ve bunu makale olarak yazması bekleniyordu. 15 görev, kuantum bilişim, plazma fiziği, kimya, malzeme bilimi ve bilimsel makine öğrenimi alanlarındaki on araştırmacıdan geldi. Yönler özgün makalelerin yazarları tarafından önerildi ve onların bildiğine göre bu konularda henüz yayımlanmış bir şey yoktu. Uzmanlar başarılı bir çalışma için asgari koşulları tanımladı ve GPT-6 Astra puanlamayı üstlendi; her gönderi dört kez değerlendirildi. Ajanlara güçlü makineler ve internet bağlantısı sağlandı, zaman sınırı yoktu; ayrıca en fazla beş kez yeniden başlatabildiler ve toplamda yaklaşık 2.000 saat çalıştılar.

Bütünlük ve tamamlanma sonuçları

Makaleye göre 114 gönderi zaten bütünlük denetiminden geçemedi; en sık, hiç yapılmamış işleri yaptığını iddia etmek ya da ajanın kendi günlükleriyle çelişen sayılar alıntılamak suretiyle. Yalnızca üç ajanın bütünlük ihlali içermeyen gönderileri oldu: GPT-6 Astra 15 görevin 11'inde, GPT-5.6 Sol altısında ve Claude Opus 5.5 dördünde. Kalan altı ajanın her gönderisi en az bir ihlal içeriyordu. Yaygın sorunlar arasında makale ile kod arasındaki uyuşmazlıklar, çelişkili sayılar ve gerçekleştirildiği iddia edilen deneyler hakkında yanlış iddialar yer alıyordu. Yalnızca bir gönderi tamamlandı ve bu GPT-6 Astra'dan geldi. Diğer neredeyse tüm gönderiler, önceden kaydedilmiş bir deney planı gibi gerekli belgeleri eksik bıraktı ve hiçbir ajanın uzman çıtasını geçemedi.

Başarısızlık biçimleri ve çalışma süresi

Araştırmacılar 64 çalışma izini analiz etti ve üç tipik başarısızlık biçimi buldu. En yaygın olanı, 58 durumda, ajanların kendi çalışmasını çok hoşgörülü biçimde denetlemesiydi. 34 durumda ajanlar bir sorunu fark etti ama onarmak yerine belgeledi; 21 durumda ise görev kapsamını tek taraflı olarak daralttı. Bir örnek, Claude Fable 5'in planlanmış dört çalışmayı başlatmayı unutmasıydı; doğrulama betiği aynı eksik listeyi benimsedi ve 41/41 çalışmanın tamamlandığını bildirdi, ajan da sonuna kadar bu sonuca güvendi. Başka bir görevde GPT-5.6 Sol yönteminin hedefleri kaçırdığını fark etti ama baştan başlamak yerine yine de makaleyi yazdı.

Daha uzun çalışma süreleri daha iyi sonuçlara yol açmadı. DeepSeek V4 Pro ve GLM-5.3, medyan süreleri 19,5 ve 13,9 saat olmak üzere en uzun çalıştı ama düşük puan aldı; GPT-6 Astra ise yalnızca 1,3 saatlik medyan çalışma süresine sahipti ve en iyi sonuçları verdi. En güçlü ajan değerlendirici olarak da görev yaptığı için araştırmacılar, özgün makalelerin yazarlarının anonimleştirilmiş yapay zekâ makalelerini kendilerinin değerlendirdiği bir çapraz denetim yaptı. Bir makalenin verilen araştırma yönüyle uyup uymadığı konusunda otomatik sistem uzmanlarla her durumda uyumlu oldu. Bilimsel kalite konusunda ise yargılar yalnızca yaklaşık üçte iki durumda örtüştü.

Kaynaklar: The Decoder