ინჟინრებმა ChatGPT-ს მართვა ასწავლეს, კურსი მხოლოდ ერთმა მოდელმა დაასრულა

სან-ფრანცისკოს ყურის ზონის სამმა ტექმუშაკმა დაქირავებულ Toyota Corolla-ს ფრონტიული დიდი ენის მოდელები დაუკავშირა და პარკინგის მოედანზე მათ საჭის ტრიალი, აჩქარება და დამუხრუჭება ჩააბარა. ჯგუფი, რომელიც თავს DrivingBench-ს უწოდებს, კოდს, პრომპტებს და ცდების ვიდეოებს საჯაროდ აქვეყნებს.

Corolla-ს მართვა GPT-6 Astra-ს, Claude Fable 5.1-ს, Grok 4.6-ს და GPT-5.6 Sol-ს გადაეცა. DrivingBench-ს Aditya Ramabadran, Tobias Gessler და Simon Mahns ქმნიან, ისინი ერთმანეთს AI მათემატიკურ სტარტაპ Axiom Math-ში მუშაობისას გაიცნეს. იდეა შაბათ-კვირას, ნაყინის მაღაზიაში დაიბადა.

როგორ შეაერთეს ავტომობილი

Corolla Gessler-მა იქირავა და გაქირავების კომპანიას არ უთქვამს, რომ ავტომობილის ჩატბოტებით მართვას გეგმავდნენ. მანქანისა და მოდელების დასაკავშირებლად გამოიყენეს Comma, ღია კოდის მზა სისტემა, რომელიც თვითმართვის საბაზისო ფუნქციას მატებს იმ ავტომობილებსაც, რომლებსაც ის ქარხნულად არ მოჰყოლიათ. Comma საქარე მინაზე მაგრდება, გზას ორი კამერით აკვირდება და ავტომობილის ელექტრონულ სისტემებთან ურთიერთობს, ვიდეო კი ლეპტოპზე გაშვებულ მოდელებს მიდიოდა.

ერთი ადამიანი ლეპტოპიდან მოდელს პრომპტს აძლევდა, საჭესთან მჯდომი ღილაკით სისტემას რთავდა და შემდეგ მხოლოდ აკვირდებოდა, რომ მანქანა კედელს არ შეჯახებოდა. ფეხი მუდამ სამუხრუჭე პედალზე ეჭირა. პრომპტი 600 სიტყვაზე ნაკლებია: უკუღმა U-ის ფორმის მოედანზე კონუსებს შორის დარჩენა, ლურჯი კონუსებით მონიშნულ ადგილას პარკირებით დასრულება, მოედნის საზღვრებიდან არ გასვლა და მარშრუტის მცირე დროში გავლა.

რა გააკეთეს მოდელებმა

შედეგი შერეული გამოვიდა. Grok 4.6-მა, GPT-5.6 Sol-მა და Claude Fable 5.1-მა მხოლოდ რამდენიმე მეტრი გაიარეს და მარშრუტი ვერ დაასრულეს. GPT-6 Astra-მ კურსი დაასრულა, მაგრამ მხოლოდ მას შემდეგ, რაც გუნდმა პრომპტი საათობით გადაამუშავა.

მოდელების უმეტესობამ თანამშრომლობაზე უარი თქვა, როგორც კი მიხვდა, რომ რეალური ავტომობილის მართვას სთხოვდნენ. დავალების სიმულაციად წარდგენა მხოლოდ ნაწილობრივ მუშაობდა: მოდელები კამერის კადრებს უყურებდნენ, ნამდვილ პარკინგს ამოიცნობდნენ და აცხადებდნენ, რომ მათ ატყუებდნენ. საბოლოოდ გუნდმა ყველაფერს sandbox უწოდა და Astra-მ სტაბილურად იმართა. დრო წაიღო პროგრამულმა ნაწილმაც: ერთ ცდაში დაწერილი კოდი 200 000 სტრიქონიანი უვარგისი ტექსტი აღმოჩნდა. ცალკე პრობლემა იყო მოედნის მოძებნა, ტაძარმა და საოფისე შენობამ კი გუნდი გააძევა.

რატომ აქვს ამას მნიშვნელობა

Ramabadran-ის თქმით, მიზანი არ იყო ეჩვენებინათ, რომ ჩატბოტის ავტომობილში ჩართვა პრაქტიკულია. მიზანი ფიზიკურ სამყაროში მოქმედი მოდელების ახალი ბენჩმარკი იყო, რომელშიც დაყოვნებაც შედის. მოდელს პასუხზე 20 წამამდე სჭირდება, წამში დაახლოებით ერთი მეტრის სიჩქარით კი მანქანა ამ დროში 10 მეტრს გადის „ბრმად“. Mahns-ის თქმით, ყველაზე საინტერესო იყო იმის დანახვა, რომ მოდელი ერთ შემობრუნებაზე ცდება, მომდევნო ცდაზე კი იმავე და მანამდე უნახავ შემობრუნებებსაც ასრულებს.

დემონსტრაცია იმ ტექნიკისთვის არასასიამოვნო დროს დაემთხვა. აშშ-ის National Highway Traffic Safety Administration-მა Comma-ზე გამოძიება გასულ კვირაში დაიწყო, მას შემდეგ, რაც სისტემის მონაწილეობით ორ ავარიაში სამი ადამიანი დაიღუპა.