GPT-6 Astra-ն միակ մոդելն էր, որ ավարտեց DrivingBench-ի կոնուսային ուղին

DrivingBench-ը՝ Aditya Ramabadran-ի, Simon Mahns-ի և Tobias Gessler-ի պատրաստած չափիչը, փնտրում է մեկ հարցի պատասխան. կարո՞ղ են առաջատար մոդելները իրական մեքենա վարել։ Թիմը դատարկ կայանատեղիում կոնուսներով ուղի գծեց և 2022-ի Toyota Corolla-ն հանձնեց չորս մոդելի կառավարմանը։ Ամբողջ երթուղին անցավ միայն GPT-6 Astra-ն։

Ինչպես է մոդելը վարում մեքենան

Մեքենայում տեղադրված է comma four սարքը, որը OBD-C մալուխով միացված է CAN ավտոբուսին։ Մոդելները ղեկի հետևում չեն նստում. նրանք սովորական զրույցային միջավայրերից (Codex, Claude Code, Cursor) կանչում են երեք MCP գործիք՝ observe(), set_motion() և stop_now()։ set_motion()-ը ստանում է ուղղություն, ղեկի տոկոսը՝ 0-ից 100, արագությունը և տևողությունը։ Նոր հրամանը փոխարինում է նախորդին, այլ ոչ թե հերթագրվում, և մեքենան շարունակում է ընթանալ, քանի դեռ մոդելը մտածում է։

Յուրաքանչյուր փորձի օպերատորը նստում է վարորդի տեղում՝ ոտքը արգելակի վրա։ Ծրագիրը արագությունը սահմանափակում է 0,5–3,5 մ/վ (1–8 մղոն/ժ), իսկ 6 մ/վ-ից բարձր վթարային կանգը չեղարկում է շարժումը։

Արդյունքների աղյուսակ

Յուրաքանչյուր մոդել ուներ մինչև երեք փորձ մեկ զրույցում, որոնց միջև նրանից սխալների գնահատում էին պահանջում։ Առաջընթացը չափվում է ուղու կենտրոնական գծով անցած ճանապարհով, չորս մետրի սահմաններում մնալու պայմանով. բախման դեպքում հաշվվում է միայն բախումից առաջ անցածը։

GPT-6 Astra-ն (Codex, medium) երկրորդ փորձին ավարտեց ուղին՝ 100%-ը 5 րոպե 22 վայրկյանում՝ 24 հրամանով։ Առաջին փորձը կանգնեց 49%-ի վրա։ Claude Fable 5.1-ը (Claude Code) երրորդ փորձին հասավ 45%-ի, Grok 4.6-ը (Cursor)՝ 11%-ի, իսկ GPT-5.6 Sol-ը (Codex)՝ 6%-ի։ Մյուս փորձերը կանգնեցին առաջին շրջադարձից առաջ։

Ինչ են ցույց տալիս փորձերը

Ձախողումների մեծ մասը ընկալման հետ էր կապված, ոչ թե մեխանիկայի. մոդելները շփոթում էին, թե առաջին անկյունագծային կոնուսային գծի որ կողմում է գոտին։ Astra-ն դիտում էր ամեն հինգ-վեց վայրկյանը. հաջող փորձին չանցավ 0,8 մ/վ-ից և 24 հրամանից 20-ում ղեկը ամբողջությամբ շրջեց։

Զեկույցը նշում է նաև կոնտեքստից սովորելու նշաններ. Astra-ն և Fable 5.1-ը սխալները վերլուծելուց հետո փոխեցին ղեկի ու արագության իրենց նախապատվությունները։

Ինչ է ապացուցում և ինչ՝ ոչ

Սա դատարկ կայանատեղիում գծված հաստատուն փորձային ուղի է, ոչ թե ինքնավար երթևեկություն իրական ճանապարհներին։ Հեղինակները սահմանափակումներն իրենք են նշում. յուրաքանչյուր մոդել փորձարկվել է մեկ անգամ, իսկ երեք փորձերը կիսում են մեկ կոնտեքստ և անկախ չեն։ Նրանք նաև նշում են, որ որոշ մոդելներ անվտանգության պատճառով հրաժարվում էին վարել, մինչև MCP սերվերը չվերանվանվեց։ DrivingBench-ը կապ չունի comma.ai-ի, openpilot-ի կամ Toyota-ի հետ։ Եզրակացությունը զուսպ է. մոդելներն արդեն ցածր արագությամբ վարում են իրական մեքենա, բայց արդյունքը պահանջում է անվտանգության ու գնահատման լրացուցիչ աշխատանք։