ბენჩმარკები AI-ის მსჯელობის ხარვეზებს ავლენენ, ახალი ღია წონის მოდელები ჩინეთს ჩამორჩებიან

Import AI 476 მოიცავს ბენჩმარკებს, რომლებიც ამოწმებენ AI მოდელების ხარვეზებს, დასავლური სტარტაპების ახალ ღია წონის მოდელებს და მთავრობის მცდელობას AI-ს წვრთნისთვის სუპერკომპიუტერების გაერთიანებისკენ.

Humanity's Sixth Sense ავლენს ვიზუალური მსჯელობის ხარვეზებს

AI სტარტაპებმა Elorian-მა და Scale AI-მა გამოუშვეს Humanity's Sixth Sense (HSS), ბენჩმარკი, რომელიც ზომავს, როგორ მსჯელობენ მოდელები ვიზუალური სცენით ნაგულისხმევ, მაგრამ აშკარად არ ნაჩვენებ ინფორმაციაზე. მისი 522 კითხვა მოიცავს 288 სურათს და 234 ვიდეოკლიპს, ჯამში 17,6 საათს, დროით და მიზეზობრივ დინამიკას, ფიზიკურ და სივრცულ ლოგიკას, სოციალურ გაგებას, აბსტრაქტულ და კონტექსტურ დასკვნებს.

ადამიანები pass@1-ში საშუალოდ 93,1-ს აგროვებენ, საუკეთესო AI სისტემა GPT 6 Astra კი 53,6-ს. ჩინური ღია წონის მოდელები ჩამორჩებიან: GLM-5.3-flash 26,8, Kimi K3 25,5. ყველაზე ხშირი წარუმატებლობა პასუხის განმსაზღვრელი დეტალის გამოტოვება იყო (21%), შემდეგ ობიექტის, ადამიანის ან როლის არასწორად ამოცნობა (20%). შედეგები ასუსტებს ვარაუდს, რომ ვიზუალური მსჯელობა განსაკუთრებულ 2D და 3D სამყაროს მოდელებს საჭიროებს.

AI კვლევითი გემოვნება სწრაფად იხვეწება

P-Zero Research-ის TasteVal ბენჩმარკი აფასებს, შეუძლიათ თუ არა მოდელებს საინტერესო პრობლემების არჩევა, ექსპერიმენტების დაგეგმვა და შედეგების ინტერპრეტაცია რვა ამოცანაში: წინასწარი წვრთნის მონაცემების კურაცია, პრეფერენციების მოდელირება და მდგრადობა ადვერსარულ პრომპტებთან. შედეგებს ადარებენ 24 ექსპერტს, მათ შორის OpenAI-დან, Google DeepMind-იდან, NVIDIA-დან და Microsoft Research-იდან.

ავტორების თქმით, ექსპერიმენტული კვლევითი გემოვნება 2025 წლის დეკემბრიდან ყოველ 3,0 თვეში ორმაგდება, საუკეთესო მოდელი Opus 5.5 კი ადამიანის საბაზისო ნიშნულს 2,30x გამოთვლითი მამრავლით აღემატება, ექსპერტების მცდელობაზე საშუალო ხარჯის დაახლოებით ოცდამეათედით. ჯეკ კლარკი ამბობს, რომ ეს აძლიერებს მოსაზრებას, სრული რეკურსიული თვითგაუმჯობესება 2027-ში და არა 2028-ში დადგება.

ახალი ღია წონის მოდელები ჩინელ კონკურენტებს ჩამორჩებიან

Reflection-მა წარმოადგინა Beam, 501 მილიარდი პარამეტრის ექსპერტთა ნარევის მოდელი 23 მილიარდი აქტიური პარამეტრით, ტოკენების ეფექტიანობისთვის. ოთხი კვირა 6 144 GB300 NVL72 GPU-ზე წინასწარ წვრთნიდნენ, შემდეგ გაძლიერებითი სწავლებით დაახლოებით 10 500 იმავე GPU-ზე, 23,8 ტრილიონი ტოკენით. Beam-ი DeepSWE 1.1-ზე 44,4 ქულას აგროვებს, GLM-5.3-ის 61-ის წინააღმდეგ, მაგრამ GLM-5.2-ს უტოლდება სამიდან ოთხჯერ ნაკლები ინფერენსის გამოთვლებით. წონები და ტექნიკური ანგარიში ამ თვის ბოლოს იგეგმება.

Mistral-მა გამოაცხადა Mistral Large 4, ღია წონის მოდელი კიბერ ამოცანებისთვის, ნაკლები უარებით, ვიდრე Anthropic-ისა და OpenAI-ს პროპრიეტარულ მოდელებს. ის ევროპულ დატაცენტრებში 3 800 NVIDIA Grace Blackwell GPU-ზე გაწვრთნეს. DeepSWE 1.1-ზე 62 ქულა აქვს, Kimi K3-ის 68-ის წინააღმდეგ; Mistral-ის თქმით, შიდა ტესტებში მომხმარებლებს ML4 უფრო მოსწონდათ CAD-სა და STEM-ში, ფინანსებსა და კოდირებაში კი GLM-5.3-თან თანაბრად ასპარეზობს.

სამთავრობო ლაბორატორიები AI-სთვის სუპერკომპიუტერებს აერთიანებენ

აშშ-ის ენერგეტიკის დეპარტამენტის ორი პროექტი აჩვენებს, როგორ ანაწილებს ფედერაციული წვრთნა AI სამუშაოებს ეროვნულ ლაბორატორიებზე. მკვლევარებმა LLaMA-ზე დაფუძნებული მოდელები გაწვრთნეს Sandia-ს, Lawrence Livermore-ისა და Los Alamos-ის სისტემებზე, მათ შორის El Capitan-ზე, LLaMA-2 7B კი ქიმიის მონაცემებზე დაახლოებით 1 700 Intel-ის, NVIDIA-სა და AMD-ის GPU-ზე დაატუნინგეს Argonne-ში, Oak Ridge-სა და Berkeley Lab-ში. ავტორები აღნიშნავენ, რომ მასშტაბი ფრონტის ხაზს დაახლოებით 100x-ით ჩამორჩება, მაგრამ ფედერაციულ მიდგომას დასაწყისად მიიჩნევენ.

წყაროები: Import AI