GDPx: ფრონტიული მოდელების შესაძლებლობების გაზომვა ყველაზე ღირებულ დომენებში

GDPx-ი ბენჩმარკია, რომელიც ფარავს ფრონტიული ინტელექტისთვის ყველაზე ღირებულ დომენებს და მიზნად ისახავს იყოს მსოფლიოში საუკეთესო ბენჩმარკი ზოგადი აგენტური შესაძლებლობების გასაზომად. ის მოიცავს ჩიპების დიზაინს, კიბერუსაფრთხოებას, ბიოლოგიას, ფინანსებს, სამართალს, რაოდენობრივ ტრეიდინგს, რეკურსიულ თვითგაუმჯობესებას, აპარატურის დიზაინს, მასალათმცოდნეობას, ალაინმენტსა და პროგრამული უზრუნველყოფის ინჟინერიას, თანაც განზრახ არ მოიცავს სახელმწიფო მმართველობას, უძრავ ქონებასა და დაზღვევას. GDPx-ის მიხედვით, საუკეთესო მოდელიც კი მხოლოდ 12%-ს აგროვებს.

შედეგები და მოდელების ძლიერი მხარეები

GDPx-ი იტყობინება, რომ Opus 5.5-მა და GPT-6 Astra-მ უსაფრთხოების კლასიფიკატორების გამო საერთო ქულები განზრახ შეამცირეს. OpenAI-ი და Anthropic-ი ტოპში დომინირებენ, ხოლო SpaceXAI-ი, Meta-ი და ღია წონის მოდელები ჩამორჩებიან. Gemini 4 Carbon-ი ერთადერთი მოდელია, რომელიც Opus-სა და Astra-ს უახლოვდება. Muse Wonder Full-ი კიბერუსაფრთხოებაში ლიდერია. მკვეთრი განსხვავებები შედეგებში მნიშვნელოვანია: Opus 5.5-ი იგებს რაოდენობრივ ტრეიდინგს, აპარატურის დიზაინსა და ჩიპების დიზაინს; Gemini 4 Carbon-ი იგებს ბიოლოგიასა და პროგრამული უზრუნველყოფის ინჟინერიას; GPT-6 Astra-ი იგებს RSI-სა და მასალათმცოდნეობას. ფინანსური და სამართლებრივი დავალებები იმდენად რთულია, რომ პრაქტიკულად ყველა მოდელი ზუსტად 0 ქულას იღებს. ღირებულება-შესრულების ჭრილში Luna-სა და DeepSeek-ს დაბალი ზღვარი უკავიათ, Opus-ს მაღალი, OpenAI-ს კი შუა.

რით განსხვავდება GDPx GDPval-ისგან

GDPx-ი ამტკიცებს, რომ GDPval, რომელიც 2025 წლის 25 სექტემბერს გამოვიდა, დღევანდელი ფრონტიული მოდელებისთვის არასაკმარისია, რადგან მისი დავალებები არაინტერაქტიულია და კონტექსტს ზედმეტად მზა სახით აწვდის. ფინანსური დავალება ითხოვს 15 გვერდამდე PDF-ს დაახლოებით 500 სიტყვის აღწერიდან, რასაც რეალისტური გარემო აკლია. GDPx-ი ასევე აღნიშნავს ხმაურიან რუბრიკის შემფასებლებს, გატეხილ რუბრიკებს, არასწორ სანიმუშო ამონახსნებსა და მოძველებულ დავალებებს. ამის საპირისპიროდ, Living Context-ის ფინანსური დავალება რეალურ ტრანზაქციას ეფუძნება: Bannock Capital-ი Haverly Snack Company-ის დაახლოებით 62%-ს 880 მილიონ დოლარად ყიდულობს, დამატებითი earnout-ით. გარემოში დაახლოებით 4000 ანონიმიზებული ფაილია, ხოლო AI-მ უნდა იმუშაოს დაახლოებით 2000 ფაილიან გარიგების ოთახში. კიბერ, მასალებისა და აპარატურის დავალებებიც რეალისტურ გარემოს იყენებს.

მეთოდოლოგია და პარტნიორები

GDPx-ი აქცენტს აკეთებს იმ დომენებზე, რომლებსაც AI უახლოეს ერთ-ორ წელიწადში ყველაზე მეტად დააჩქარებს, და ამტკიცებს, რომ GDP-ში წილზე ან SOC/O*NET-ის პროფესიულ ტაქსონომიაზე დაფუძნებული ბენჩმარკი შეცდომაა. მან 14 სპეციალიზებულ მონაცემთა პარტნიორთან ითანამშრომლა, მათ შორის RSI-სთვის Extrapolate-სთან და აპარატურის დიზაინისთვის Beautiful Machines-თან. პარტნიორებს მკაცრი QA დახვდათ და ავტომატური QA პირველივე ცდაზე უნდა გაევლოთ. ნაგულისხმევი დროის ლიმიტი რვა საათია. მოდელები მშობლიურ ჰარნესებში ეშვებოდა, როცა ეს შესაძლებელი იყო, წინააღმდეგ შემთხვევაში OpenCode-ში. დავალებები იყენებს ბინარულ ან ნაწილობრივ შეფასებას, ხოლო მთავარი ქულა არის pass@1 სამი ცდის განმავლობაში, ყველა დომენის თანაბარი წონით.

სიღრმისეული მიმოხილვა: RSI და აპარატურის დიზაინი

RSI-ის დავალებები, რომლებსაც ექსკლუზიურად Extrapolate-ი აწვდის, RSI-ს განსაზღვრავს როგორც აგენტის უნარს, დამოუკიდებლად ააგოს საკუთარი შემდეგი ვერსია. ერთი დავალება ხელახლა ქმნის მასშტაბური RL გაშვების დებაგინგის სცენარს, სადაც ჰარნესის ბაგმა შეტყობინება 32K ტოკენზე ჩასვა; აგენტები იღებენ დაახლოებით 1000 rollout trace-ს, რომლებიც 21,2 მილიონ ტოკენს მოიცავს. Claude Opus 5.5-ის, GPT-6 Astra-ს, Gemini 4 Argon-ისა და GLM 5.3-ის 20 rollout-ის განმავლობაში ოთხივე მოდელმა ვერ გაართვა თავი. აპარატურის დიზაინის დავალებები, რომლებსაც ექსკლუზიურად Beautiful Machines-ი აწვდის, იყენებს სპეციფიკაციებსა და არტეფაქტებს ისეთი პროექტებიდან, როგორიცაა 7000 კომპონენტიანი რობოტული პაციენტის გადაყვანის სისტემა. Rollout-ები სენდბოქსირებულ გარემოში მუშაობს SOLIDWORKS-ით, Siemens Designcenter NX-ით, Autodesk Fusion 360-ით, KiCad-ით, AMD Vivado-ითა და Cadence-ის პაკეტით, ხოლო შეფასება აერთიანებს დეტერმინისტულ ვერიფიკატორებსა და LLM-as-a-judge-ს.

წყაროები: Semianalysis