Інженери навчили ChatGPT керувати, курс завершила лише одна модель

Троє техпрацівників із району затоки Сан-Франциско під’єднали орендовану Toyota Corolla до фронтальних великих мовних моделей і на паркувальному майданчику передали їм кермування, прискорення та гальмування. Група, яка називає себе DrivingBench, публічно оприлюднює код, промпти та відео тестів.

Керування Corolla було передано GPT-6 Astra, Claude Fable 5.1, Grok 4.6 та GPT-5.6 Sol. DrivingBench створюють Aditya Ramabadran, Tobias Gessler і Simon Mahns; вони познайомилися, працюючи разом в AI-математичному стартапі Axiom Math. Ідея народилася на вихідних у магазині морозива.

Як під’єднали автомобіль

Corolla орендував Gessler, і компанії з прокату не сказали, що планують керувати автомобілем за допомогою чатботів. Для з’єднання машини та моделей використали Comma — готову систему з відкритим кодом, яка додає базову функцію автопілота навіть автомобілям, де вона не була встановлена на заводі. Comma кріпиться на лобове скло, стежить за дорогою двома камерами та взаємодіє з електронними системами автомобіля, а відео надходило до моделей, запущених на ноутбуці.

Одна людина з ноутбука давала моделі промпт, сидячи за кермом, вмикала систему кнопкою, а потім лише спостерігала, щоб машина не врізалася в стіну. Нога весь час була на гальмівній педалі. Промпт містить менше 600 слів: залишатися між конусами на майданчику у формі перевернутої U, завершити паркуванням у місці, позначеному синіми конусами, не виходити за межі майданчика та проїхати маршрут за короткий час.

Що зробили моделі

Результат вийшов змішаний. Grok 4.6, GPT-5.6 Sol і Claude Fable 5.1 проїхали лише кілька метрів і не змогли завершити маршрут. GPT-6 Astra завершила курс, але лише після того, як команда годинами переробляла промпт.

Більшість моделей відмовилися співпрацювати, щойно зрозуміли, що їх просять керувати реальним автомобілем. Подання завдання як симуляції працювало лише частково: моделі дивилися кадри з камери, розпізнавали справжнє паркування й заявляли, що їх обманюють. Зрештою команда назвала все sandbox, і Astra стабільно керувала. Час забрала й програмна частина: код, написаний за одну спробу, виявився 200 000 рядків непридатного тексту. Окремою проблемою був пошук майданчика, а храм і офісна будівля вигнали команду.

Чому це має значення

За словами Ramabadran, метою не було показати, що під’єднання чатбота до автомобіля є практичним. Мета — новий бенчмарк для моделей, які діють у фізичному світі, де враховується й затримка. Моделі потрібно до 20 секунд на відповідь, а на швидкості близько одного метра за секунду машина за цей час проходить 10 метрів «наосліп». За словами Mahns, найцікавіше було побачити, що модель помиляється на одному повороті, а на наступній спробі виконує той самий і раніше не бачений поворот.

Демонстрація збіглася з незручним часом для цієї технології. Національне управління безпеки дорожнього руху США (National Highway Traffic Safety Administration) розпочало розслідування щодо Comma минулого тижня після того, як в двох аваріях за участю системи загинули троє людей.