Yeni Taste-Bench: ən yaxşı AI agentlər uzunmüddətli qərarlarda sikkə atmağı az qala keçirə bilmir

Agentlər uzunmüddətli qərarları dəyərləndirməkdə çətinlik çəkir

AI agentləri indi çoxaddımlı tapşırığı yerinə yetirir, məsələn, tədqiqat işlərini yazmaq və ya proqram layihələrini yaratmaq, və davamlı olaraq hipotezi yoxlayacağı, hansı koda əsaslanacağı və ya sonrakı hansı təcrübəni aparacağı barədə qərarlar qəbul edir. Bu qərarların nəticələr çox vaxt dərhal görünmür. Pis qərar tez-tez əvvəlcə yaxşı görünür və onun həqiqi dəyəri yalnız agent bütçəsinin əksər hissəsini xərcləyəndən sonra ortaya çıxır. Microsoft və Hong Kong Şəhər Universitetinin tədqiqatçıları bu seçimi düzgün etmək bacarığını agentin „zövqünü“ adlandırır.

Taste-Bench necə işləyir

Mövcud benchmarklər yalnız agentin tapşırığı tamamlayıb-tamamlamamasını yoxlayır, aralıq addımlarının keyfiyyətini yoxlamır. İnsan qiyməti bahalı və çətin miqyaslanır; buna görə tədqiqatçılar retrospektiv yanaşmadan istifadə edirlər. Onlar agentin iş qeydlərini götürür, onları „qərar kəsişməsində“ dayandırırlar — iki cəhdin bir-birindən ayrıldığı, sonrakı bütün işlərin başladığı nöqtədə — və modeldən ən yaxşı yolu seçməyini tələb edirlər. Çünki hər bir işin nəticəsi ən yaxşı variantı göstərir, işlərin özü etiketlənmiş müqayisəni təmin edir. Taste-Bench 502 belə sualdan ibarətdir ki, onlar kodlaşdırma və AI tədqiqatı tapşırıqları üzrə minlərlə qiymətlənmiş agent işlərindən, o cümlədən SWE-bench Pro-dan və METR-in açıq transkriptlərinin MALT buraxılışlarından hazırlanıb. Generator model trivial və ya qeyri-müəyyən halları süzdü, insan yoxlaması isə avtomatik yaradılmış demək olar ki, bütün etiketləri təsdiqlədi.

Ən yaxşı modellərlər belə təsadüfi təxmini az qala keçirir

Qrup Claude, GPT, Grok, DeepSeek, GLM, MiniMax və Mistral ailələrindən 14 modeli yoxladı. Hər sual iki cavab variantı ilə iki dəfə təqdim olundu və model yalnız hər iki dəfə düzgün cavab verərsə nəzərə alındı; bu, saf təxmin üçün 25% verir. Ən yaxşı model GPT-5.6 Sol orta hesab ilə 59,7% topladı, onu 59,5% ilə GPT-5.5 izlədi. Dəqiqlik əsas işarə yalnız uzun müddət sonrakı işlərdən sonra görsəndə 21%ə qədər düşdü, yəni təsadüfi təxminə yaxın; işarə əvvəlki addımlarda artıq görünsəydi, bu göstərici 62,3% olardı. Düşüncə bütçəsinin artması dəqiqliyi demək olar ki dəyişməz saxladı; bu, bu kəsişmələrdə ehtiyac olan işarənin hələ sadəcə mövcud olmadığını göstərir.

Zövqü öyrətmək mümkün

Tədqiqatçılar müəllim modelinin qərar məntiqini Qwen3.6-27B-yə köçürdülər, nəticədə dəqiqliyi tanınmayan tapşırıqlarda 30-dan 47,9%-ə qədər qaldırdılar. Bu məsləhətlərdən ayrıca agentin işində, 41 ayrılmış SWE-bench Pro tapşırığı üzrə istifadə edildikdə, rəhbərlik uğur göstəricisini 14,6-dan 33,7%-ə qədər artırdı; bu, tamamilə düzgün qərar verən bir üsulun verəcəyi 39%-ə yaxındır. Benchmark və kod açıq şəkildə ictimaiyyətə açıqdır.

Mənbələr: The Decoder