Real testdə AI kodlaşdırma agentləri təxminən hər dörd tapşırıqdan üçündə insan təmizləməsinə ehtiyac duyur

Alibaba və bir neçə Asiya universitetinin tədqiqatçıları mövcud veb tətbiqlər üçün real istifadəçi dəyişiklik sorğularına əsaslanan kodlaşdırma agenti testi olan Co-Design Bench yaratdılar. On modellərdən ən yaxşısı, GPT-6 Astra, tapşırıqların yalnız təxminən dörddə birini tam başa çatdırır, tələblərin isə orta hesabla təxminən 70 faizini yerinə yetirir; çox hallarda istifadəçi ən azı bir detalı əl ilə təmizləməli olur.

Köhnə benchmarklar niyə çox asan görünür

Müəlliflər mövcud benchmarkların doyuma çatdığını deyirlər. Kodlaşdırma agentləri öz kodlarını işə sala, yoxlaya və düzəldə biləndə, həmin testlərdə 99 faizdən yuxarı xal alırlar və modellər arasındakı fərqi demək olar ki, ölçmək mümkün olmur. WebCompass-edit kimi köhnə benchmarklarda agentik kodlaşdırma modelləri demək olar ki, mükəmməl nəticələrə çatır, Co-Design Bench isə 35 faiz bəndindən çox fərq buraxır.

Yeni benchmark necə işləyir

Co-Design Bench real kodlaşdırma sessiyalarından alınan real sorğulara söykənir. Tədqiqatçılar istifadəçilərin bir sorğunu bir neçə dəfə yenidən ifadə etməli və ya dəyişiklikləri geri qaytarmalı olduğu halları üstün tutdular, ona görə test əsasən təcrübədə AI agentlərinə artıq çətinlik yaratmış tapşırıqları ehtiva edir. Tapşırıqlar çekdən məbləğ çıxarmaq və hər asılı cəmi yeniləmək kimi kiçik dəyişikliklərdən tutmuş layihənin tam miqyaslı yenidən qurulmasına qədər uzanır. Multimodal bölmədə agentlər çeklərdən, cədvəllərdən və ya videolardan dəyərləri çıxarmalı və bütün asılı görünüşləri ardıcıl yeniləməlidir. Qiymətləndirmə sərtdir: bir AI hakim bitmiş tətbiqi brauzerdə yoxlayır, sonra ikincisi hər müsbət hökmü yenidən yoxlayır və maketlər və ya hardkod edilmiş nəticələri axtarır. Xal yalnız tətbiqdə həqiqətən işləyən funksiyalara verilir.

Modellər birləşik dəyişikliklərlə çətinlik çəkir

GPT-6 Astra-dan sonra Claude Opus 5 və Qwen3.8-Max növbəti yerləri tutur, Grok 4.6 isə sonuncu yerdə qərarlaşır. Böyük yenidən qurmalarda çox daha kiçik Qwen3.8-27B ikinci yerə qalxır, lakin müəlliflər bu nəticədən həmin model üçün ümumi üstünlük çıxarmırlar. Tapşırıq daha çox dəyişiklik növünü birləşdirəndə, o cümlədən tərtibat, dizayn, interaktivlik və məzmunu, bütün modellərdə performans düşür. On modeldən hər biri tapşırıq üç və ya dörd fərqli dəyişiklik növü tələb edəndə daha pis nəticə göstərir. Əlavə hesablama bu zəifliyi çox az hallarda düzəldir: GLM-5.2 kiçik dəyişikliklərdə GPT-6 Astra-dan təxminən altı dəfə çox token sərf edir və yenə də əhəmiyyətli dərəcədə pis nəticə alır. GPT-6 Astra hər iki bölmədə öndədir, lakin multimodal tapşırıqların yalnız 41 faizini, repozitoriya tapşırıqlarının isə 18 faizdən bir qədər azını tam həll edir.

Harness və test məhdudiyyətləri

Ayrı bir testdə tədqiqatçılar eyni modelləri müxtəlif harnesslərdə, yəni agentin kodu oxuduğu, yazdığı və icra etdiyi proqramlarda işə saldılar. Qwen3.8-27B böyük yenidən qurmalarda mühitdən asılı olaraq 75 və ya cəmi 56 faiz xal aldı, iki modeldən hansının öndə olacağı da mühitdən asılı idi. Yalnız modeli göstərən lider cədvəlləri buna görə hekayənin yalnız bir hissəsini göstərir və müəlliflər model və iş mühitini həmişə birlikdə bildirməyi tövsiyə edirlər. Kodlaşdırma agenti seçən şirkətlər üçün bu, hər iki komponenti cüt kimi sınaqdan keçirmək deməkdir. Benchmarkın həmçinin məhdudiyyətləri var: o, hər tapşırıq üçün bir sabit sorğu qiymətləndirir, ona görə əlavə suallar və ya tapşırıq ortasında düzəlişlər testin bir hissəsi deyil, AI hakimlər də səhv edə bilər. METR-in bir tədqiqatı göstərdi ki, benchmark nəticələri və real istifadəyə yararlılıq fərqlənə bilər, layihə rəhbərlərinin AI ilə yaradılmış kodu faktiki qəbul etmə dərəcəsi SWE-bench Verified xallarından təxminən 24 faiz bəndi aşağıdır. Test mühitindəki qüsurlar agentlərə tapşırığı həqiqətən həll etmədən keçməyə imkan verə bilər. İş mühitinin təsiri isə aydın deyil: yaxın bir tədqiqat daha mürəkkəb harnesslərdən demək olar ki, heç bir ölçülə bilən fayda tapmadı, hətta onlar təxminən üç dəfə çox token sərf etmişdilər.

Mənbələr: The Decoder