GPT-6-Astra თეორიული ფიზიკის ბენჩმარკში 98%-იანი სიზუსტით ლიდერობს

ბენჩმარკის შედეგები

თეორიული მეცნიერებების საერთაშორისო ცენტრის, ჰარვარდის უნივერსიტეტის, KU Leuven-ისა და Google DeepMind-ის 35 მკვლევარმა გამოაქვეყნა TheoPhysEval, ბენჩმარკი 50 გამოუქვეყნებელი თეორიული ფიზიკის კვლევითი ამოცანით, რომლებსაც გადამოწმებადი პასუხები აქვთ. OpenAI-ს Codex-ის პროგრამირების გარემოში მომუშავე GPT-6-Astra-მ 50-დან 49 სწორად უპასუხა, ანუ 98%, ერთი ამოცანის საშუალო ღირებულება 3 დოლარზე ნაკლები იყო, მთლიანი ბენჩმარკისთვის კი 116 დოლარზე ოდნავ ნაკლები.

Claude Code-ში მომუშავე Anthropic-ის Opus 5.5-მა 92% დააფიქსირა. Google-ის Gemini 3.8 Flash-მა 68% დააფიქსირა, DeepSeek-V4.1-Flash-მა და GLM 5.3-მა კი შესაბამისად 54% და 42%. თითოეული აგენტი ორჯერ გაეშვა: ვებძიებით და ინტერნეტის გარეშე.

რას ამოწმებს ამოცანები

ბენჩმარკი თერთმეტ ქვედარგს მოიცავს, სითხის დინებიდან და ბიოლოგიური პროცესებიდან ნაწილაკების ფიზიკამდე და კოსმოლოგიამდე. ავტორები ფოკუსირდნენ რუტინულ კვლევით სამუშაოზე და არა მთავარ ღია კითხვებზე; ამოცანებს ისინი აღწერენ როგორც „სახელურის ტრიალის“ ტიპის დავალებებს, სადაც ცნობილი მეთოდები ოდნავ შეცვლილ მნიშვნელობებზე გამოიყენება. წამყვან სპეციალისტს ტიპურ ამოცანაზე დაახლოებით დღე ან ნაკლები დასჭირდებოდა, მეზობელი დარგის სპეციალისტებს კი მეტი დრო.

ინტერნეტზე წვდომამ თითქმის არაფერი შეცვალა. ვებძიების გარეშე Astra-მ და Opus-მა თითოეულმა 92% დააფიქსირა. ავტორების თქმით, ეს იმაზე მიუთითებს, რომ წამყვანმა ენობრივმა მოდელებმა თეორიული ფიზიკის ლიტერატურის დიდი ნაწილი ფაქტობრივად დაიმახსოვრეს. რამდენიმე შეცდომა მოგვიანებით საცნობარო ამონახსნების ხარვეზებს მიაწერეს და არა მოდელის შეცდომებს.

გამოთვლებიდან აღმოჩენამდე

ავტორები ამბობენ, რომ ზოგიერთმა ყველაზე ძლიერმა მოდელმა შესაძლოა უკვე გადააჭარბოს საუკეთესო ადამიან მკვლევრებს კონკრეტულ გამოთვლებში, მაგრამ თეორიულ ფიზიკას ჯერ არ უნახავს ისეთი ეტაპი, როგორიც AI-ს მიერ მათემატიკაში ღია ამოცანების ამოხსნაა. ისინი ამტკიცებენ, რომ გადამოწმებადი გამოთვლა კვლევის ბოლოს დგას. მანამდე მკვლევრებმა უნდა ააგონ თეორია, დასვან სწორი კითხვები და გადართონ, როცა ამოცანა ზედმეტად რთულია. ამჟამინდელ აგენტებს ეს განსჯა აკლიათ, ან ის, რასაც ფიზიკოსები გემოვნებას უწოდებენ.

ავტორები ტრენინგსა და წვდომაზეც ხედავენ შედეგებს. ამოცანები, რომლებიც ოდესღაც დამწყებ მკვლევრებს უხდებოდათ, შესაძლოა აღარ იყოს შესაფერისი, თუ მიზანი მხოლოდ მასალის გავლა არ არის. ისინი ელიან, რომ უფრო რთულ ამოცანებზე ხარჯები მკვეთრად გაიზრდება და ამბობენ, რომ თეორიულმა ფიზიკამ წვდომასა და თანაბარ შესაძლებლობებზე უნდა იმსჯელოს, სანამ უნარიანი აგენტები დარგს შეცვლიან.

წყაროები: The Decoder