GPT-6 Astra-მა ერთადერთმა დაასრულა DrivingBench-ის ტრასა 5 წუთსა და 22 წამში

ბენჩმარკი DrivingBench, რომელიც Aditya Ramabadran-მა, Simon Mahns-მა და Tobias Gessler-მა შექმნეს, ერთ კითხვას პასუხობს: შეუძლია თუ არა წამყვან მოდელს რეალური ავტომობილის მართვა? ცარიელი პარკინგის მოედანზე მათ კონუსებით ტრასა გაშალეს და 2022 წლის Toyota Corolla ოთხი მოდელის განკარგულებაში გადასცეს. მთელი მარშრუტი მხოლოდ GPT-6 Astra-მა გაიარა.

როგორ მართავს მოდელი მანქანას

ავტომობილში დამონტაჟებულია comma four, რომელიც OBD-C კაბელით CAN-ის სალტეს უკავშირდება. მოდელები საჭესთან არ სხედან — ისინი ჩვეულებრივი ჩატ-გარემოდან (Codex, Claude Code, Cursor) სამ MCP ხელსაწყოს იძახებენ: observe(), set_motion() და stop_now(). set_motion()-ს გადაეცემა მიმართულება, საჭის პროცენტი 0-დან 100-მდე, სიჩქარე მეტრებში წამში და ხანგრძლივობა. ახალი ბრძანება წინას ცვლის და რიგში არ დგება — სანამ მოდელი ფიქრობს, მანქანა მოძრაობას აგრძელებს.

ყველა გაშვებას ოპერატორი ზედამხედველობს: ის მძღოლის ადგილზე ზის და ფეხი მუხრუჭზე აქვს. პროგრამა სიჩქარეს 0,5–3,5 მ/წმ დიაპაზონში ზღუდავს, 6 მ/წმ-ზე მეტ სიჩქარეს კი ავარიული გაჩერება აუქმებს.

ლიდერბორდი

თითოეულ მოდელს ერთ უწყვეტ ჩატში სამამდე მცდელობა ჰქონდა; მცდელობებს შორის საკუთარი შეცდომების გააზრებას სთხოვდნენ. პროგრესი ითვლება ტრასის ცენტრალური ხაზის გასწვრივ გავლილი მანძილით, ოთხი მეტრის დაშორებაზე დარჩენის პირობით; შეჯახებისას მხოლოდ შეჯახებამდე მიღწეული პროგრესი ითვლება.

GPT-6 Astra (Codex, medium) მეორე მცდელობაზე გავიდა: ტრასის 100% 5 წუთსა და 22 წამში, 24 ბრძანებით. მისი პირველი მცდელობა 49%-ზე შეწყდა. Claude Fable 5.1 (Claude Code) მესამე მცდელობაზე მაქსიმუმ 45%-ს მიაღწია, Grok 4.6 (Cursor) — 11%-ს, GPT-5.6 Sol (Codex) კი — 6%-ს. დანარჩენი ყველა მცდელობა პირველივე მოსახვევამდე გაჩერდა.

რას აჩვენებს გაშვებები

ჩავარდნების უმეტესი ნაწილი აღქმით იყო გამოწვეული და არა მექანიკით: მოდელებს უჭირდათ იმის გარკვევა, ზოლი პირველი დიაგონალური კონუსების ხაზის რომელ მხარესაა. Astra ყოველ ხუთ-ექვს წამში აკვირდებოდა; წარმატებულ გაშვებაზე მან 0,8 მ/წმ სიჩქარეს არ გადააჭარბა და 24 ბრძანებიდან 20-ში საჭე 100%-ით იყო მოთხოვნილი.

ანგარიშის მიხედვით, მოდელები კონტექსტიდანაც სწავლობდნენ: Astra და Fable 5.1 შეცდომების გააზრების შემდეგ საჭისა და სიჩქარის არჩევანს შეცვალეს.

რას აჩვენებს ეს ტესტი და რას არა

ეს ცარიელ მოედანზე გაშლილი ფიქსირებული სატესტო ტრასაა და არა ავტონომიური მოძრაობა რეალურ გზებზე. ავტორები ლიმიტებს თავად ასახელებენ: თითოეული მოდელი ერთხელ შემოწმდა, სამი მცდელობა კი ერთ კონტექსტს იზიარებს და დამოუკიდებელი არ არის. DrivingBench არც comma.ai-ს უკავშირდება, არც openpilot-ს და არც Toyota-ს. დასკვნა თავშეკავებულია: მოდელებს უკვე შეუძლიათ რეალური მანქანის დაბალ სიჩქარეზე მართვა, თუმცა ეს შედეგი უსაფრთხოებისა და შეფასების მიმართულებით მეტ კვლევას მოითხოვს.