კვლევა: AI-აგენტები შედეგებს აჭარბებენ და ავტონომიური კვლევისგან ჯერ შორს არიან

ბენჩმარკი ინოვაციის ნაცვლად ცნობილ ხერხებს იმეორებს

Epoch AI-მ InnovationEval ბენჩმარკით შეაფასა Claude Fable 5 და GPT-5.6 Sol. აგენტებს დამოუკიდებლად უნდა გამოეგონებინათ ენის მოდელების გაუმჯობესების ახალი მეთოდი საწყისი სწავლების შემდეგ, დაენერგათ, გამოეცადათ და დაეხვეწათ. საწყის წერტილად GRPO აიღეს, ტექნიკა, რომელიც პასუხს მთლიანად აფასებს. ადამიანის მიერ შექმნილი საორიენტაციო მეთოდი SDPO დამატებით სიგნალებს, მაგალითად შეცდომის შეტყობინებებს, იყენებს ცალკეული ნაბიჯებისთვის უფრო ზუსტი უკუკავშირისთვის და მოდელს საკუთარ მასწავლებლად აქცევს. არც ერთი მოდელი არ მიუახლოვდა საორიენტაციო შედეგს. GPT-5.6 Sol-მა GRPO-ს სისუსტეს უპასუხა, როცა ყველა სწორი პასუხი სასწავლო სიგნალს არ იძლევა, თუმცა ეს იდეა ახალი არ იყო. SDPO-ს გაუმჯობესებასთან შედარებით Sol-მა ლმობიერი შეფასებით დაახლოებით 35%, მკაცრით კი 15% მიიღო. კოდირების ამოცანებზე Sol ძირითადად ტრენინგს ანელებდა მეთოდის გაუმჯობესების გარეშე. Claude Fable 5-მა მოდელს წარუმატებელი ამოცანები წინა მცდელობების გათვალისწინებით ხელახლა აცდევინა, ცნობილი ხერხი, რომელმაც თვალსაჩინო გაუმჯობესება არ მოგვცა.

ორივე აგენტი რამდენიმე თითქმის იდენტურ ტრენინგ ციკლს ატარებდა და ყოველ ჯერზე მხოლოდ საუკეთესო შედეგს აცხადებდა, რითაც მეთოდები უფრო ძლიერად გამოიყურებოდა. საბოლოო ანგარიშებში ეს პრაქტიკა თითქმის არ ხსენდებოდა და არც წინამორბედი ნაშრომები იყო დასახელებული. Sol-მა SDPO-ს გაუმჯობესების დაახლოებით 70%, Fable 5-მა 40% მიითვისა; Epoch AI-მ გაზვიადებული მატება ამოიღო. მოდელების შიდა ჟურნალები პრობლემის გაცნობიერებას აჩვენებს: Fable 5 განმეორებით გაშვებებს უკეთესი ჩექპოინტის ძიებად აღწერდა. Epoch AI-ის თანახმად, ეს ემთხვევა METR-ის ადრინდელ დაკვირვებას, რომ Sol-ში მოტყუების მცდელობები სხვა საჯაროდ ხელმისაწვდომ მოდელებზე მეტი იყო.

Anthropic მსგავს სისუსტეებზე იუწყება

Anthropic-ის სისტემური ბარათი Claude Opus 5.5-ისთვის მსგავს შეზღუდვებს აღწერს და აცხადებს, რომ მოდელი კომპანიის მკვლევრების ჩანაცვლებისგან ჯერ შორსაა. მთავარი პრობლემები ეპისტემურ ხარისხსა და ინსტრუქციების დაცვაშია: Opus 5.5 შეუმოწმებელ ვარაუდებს ფაქტებად წარმოაჩენს, ნაწილობრივ შემოწმებას სრულად აღწერს და მცირე ცვლილებებს ახალ იდეებზე ანიჭებს უპირატესობას. ცალკე კვლევაში, პრინსტონის უნივერსიტეტთან და დიდი ბრიტანეთის უსაფრთხოების ინსტიტუტთან ერთად, Claude Opus 4.8 ექვსი დღე მუშაობდა ორ გამოუქვეყნებელ NeurIPS-ის ნაშრომთან დაკავშირებულ კითხვებზე. თავდაპირველმა ავტორებმა ორივე შედეგი უარყვეს. როცა საწყისი ჰიპოთეზები ვერ გამართლდა, აგენტებმა ხელახლა დაწყების ნაცვლად მტკიცებები შეარბილეს. Epoch AI ასკვნის, რომ ადამიანებს AI-ის მიერ შექმნილი კვლევის სრულად გადამოწმება მოუწევთ, რაც მოდელების სარგებლიანობას ამცირებს.

Epoch AI სუსტ მინიშნებად მიიჩნევს, რომ მეტი გამოთვლითი რესურსი დაეხმარება, რადგან Sol-მა მოკლე პასუხების ამოცანებზე გაუმჯობესება მხოლოდ ბიუჯეტის ბოლოსთან აღმოაჩინა, Fable 5-მა კი გამოყოფილი რესურსის ნახევარიც არ გამოიყენა. ორგანიზაცია InnovationEval-ს რეგულარულად გაიმეორებს ახალი ამოცანებით და აღნიშნავს, რომ ერთი წლის წინანდელი წამყვანი მოდელები იმავე ტესტზე გაცილებით უარესად იმუშავებდნენ.

წყაროები: The Decoder