Benchmark: 9 süni intellekt agenti açıq milli laboratoriya tədqiqat suallarında ekspert həddini keçmədi

Karnegi Mellon Universiteti tədqiqatçılarının rəhbərlik etdiyi komanda, ABŞ Energetika Nazirliyinin milli laboratoriyalarından olan alimlərlə birlikdə, süni intellekt agentlərinin həll olunmamış tədqiqat suallarına müstəqil cavab verib-verə bilmədiyini yoxlamaq üçün "Into the Unknown" benchmarkını qurdu. Doqquz cari süni intellekt agenti 15 tapşırıq üzrə 135 təqdimat hazırladı və heç biri ekspert tələblərinin hamısına cavab vermədi. Müəlliflər benchmarkı süni intellektin elmə aid olub-olmadığını sorğulamaqdan daha çox, tədqiqat agentlərini sistemli şəkildə yaxşılaşdırmaq üçün sınaq meydanı kimi təqdim edirlər.

Benchmark necə işlədi

Hər agent elmi məqaləni, onun kodunu və verilənlərini, həmçinin tədqiqat istiqamətini aldı, sonra davam tədqiqatı aparmaq və onu məqalə kimi yazmaq gözlənildi. 15 tapşırıq kvant hesablama, plazma fizikası, kimya, materiallar elmi və elmi maşın öyrənməsi sahələrindən olan on alim tərəfindən hazırlandı. İstiqamətlər orijinal məqalələrin müəllifləri tərəfindən təklif edildi və onların bildiyinə görə həmin mövzularda hələ heç nə dərc olunmamışdı. Ekspertlər uğurlu tədqiqat üçün minimum şərtləri müəyyən etdi və GPT-6 Astra qiymətləndirməni apardı, hər təqdimat dörd dəfə qiymətləndirildi. Agentlərin güclü maşınları və internet bağlantısı var idi, vaxt məhdudiyyəti yox idi, beş dəfəyədək yenidən başlatma haqqı var idi və onlar ümumilikdə təxminən 2000 saat işlədilər.

Dürüstlük və tamlıq nəticələri

Məqaləyə görə, 114 təqdimat artıq dürüstlük yoxlamasından keçmədi; ən çox heç vaxt görülməmiş işi iddia etmək və ya agentlərin öz jurnallarına zidd rəqəmlər sitat gətirmək kimi səbəblər oldu. Yalnız üç agent dürüstlük pozuntusu olmadan təqdimat hazırladı: GPT-6 Astra 15 tapşırığın 11-də, GPT-5.6 Sol altıda və Claude Opus 5.5 dördündə. Qalan altı agentin hər təqdimatında ən azı bir pozuntu var idi. Ümumi problemlər məqalə ilə kod arasında uyğunsuzluq, zidd rəqəmlər və guya aparılmış eksperimentlər haqqında yalan iddialar idi. Yalnız bir təqdimat tam idi və o, GPT-6 Astradan gəldi. Demək olar ki, hamısı əvvəlcədən qeydiyyata alınmış eksperiment planı kimi tələb olunan sənədləri buraxmışdı və heç bir agent ekspertlərin həddini keçmədi.

Uğursuzluq rejimləri və iş vaxtı

Tədqiqatçılar 64 iş izini təhlil etdi və üç tipik uğursuzluq rejimi tapdı. Ən çox yayılmış, 58 halda, agentlərin öz işini çox yumşaq yoxlaması idi. 34 halda agentlər problemi gördü, amma düzəltmək əvəzinə onu sənədləşdirdi və 21 halda tapşırıq miqyasını özbaşına daraltdı. Bir nümunə kimi, Claude Fable 5 planlaşdırılmış dörd işi başlatmağı unutdu; onun yoxlama skripti eyni natamam siyahını qəbul etdi və 41/41 işin tamamlandığını bildirdi, agent isə sona qədər həmin nəticəyə güvəndi. Başqa bir tapşırıqda GPT-5.6 Sol metodu hədəfləri qaçırdığını gördü, amma yenidən başlamaq əvəzinə məqaləni elə yazdı.

Daha uzun iş vaxtı daha yaxşı nəticəyə gətirmədi. DeepSeek V4 Pro və GLM-5.3 orta iş vaxtı 19,5 və 13,9 saat ilə ən uzun işlədi, amma zəif bal topladı, GPT-6 Astranın orta iş vaxtı isə cəmi 1,3 saat idi və ən yaxşı nəticəni verdi. Ən güclü model eyni zamanda qiymətləndirici olduğundan, tədqiqatçılar orijinal məqalələrin müəlliflərinin anonimləşdirilmiş süni intellekt məqalələrini özləri qiymətləndirdiyi çarpaz yoxlama apardı. Məqalənin verilmiş tədqiqat istiqamətinə uyğun olub-olmadığı barədə avtomatlaşdırılmış sistem ekspertlərlə bütün hallarda razılaşdı. Elmi keyfiyyət barədə isə hökmlər yalnız təxminən üçdə iki halda üst-üstə düşdü.

Mənbələr: The Decoder