Ինժեներները ChatGPT-ին վարել սովորեցրին, դասընթացն ավարտեց միայն մեկ մոդել

Սան Ֆրանցիսկոյի ծոցի տարածքի երեք տեխնիկական աշխատակիցներ վարձակալված Toyota Corolla-ն միացրին առջևի մեծ լեզվական մոդելներին և ավտոկայանատեղիում նրանց հանձնեցին ղեկի պտույտը, արագացումը և արգելակումը։ Իրեն DrivingBench անվանող խումբը կոդը, prompt-ները և փորձերի տեսանյութերը հրապարակում է բացահայտ։

Corolla-ի վարումը փոխանցվեց GPT-6 Astra-ին, Claude Fable 5.1-ին, Grok 4.6-ին և GPT-5.6 Sol-ին։ DrivingBench-ը ստեղծում են Aditya Ramabadran-ը, Tobias Gessler-ը և Simon Mahns-ը. նրանք ծանոթացել են AI մաթեմատիկական Axiom Math ստարտափում միասին աշխատելիս։ Գաղափարը ծնվել է շաբաթավերջին՝ պաղպաղակի խանութում։

Ինչպես միացրին մեքենան

Corolla-ն վարձակալել է Gessler-ը, և վարձակալության ընկերությանը չեն ասել, որ պատրաստվում են մեքենան կառավարել չաթբոտերով։ Մեքենան և մոդելները միացնելու համար օգտագործել են Comma-ն՝ բաց կոդով պատրաստ համակարգ, որը ինքնավար վարման հիմնական ֆունկցիա է ավելացնում նույնիսկ այն մեքենաներին, որոնք գործարանային չեն ունեցել այն։ Comma-ն ամրացվում է դիմապակուն, ճանապարհին հետևում է երկու տեսախցիկով և կապվում մեքենայի էլեկտրոնային համակարգերի հետ, իսկ տեսանյութը գնում էր նոութբուքի վրա գործարկված մոդելներին։

Մեկ մարդ նոութբուքից մոդելին prompt էր տալիս, ղեկի մոտ նստածը կոճակով միացնում էր համակարգը, իսկ հետո միայն հետևում, որ մեքենան պատին չբախվի։ Ոտքը մշտապես արգելակի ոտնակին էր։ Prompt-ը 600 բառից քիչ է՝ հակառակ U-աձև տարածքում կոնուսների միջև մնալը, կապույտ կոնուսներով նշված տեղում կայանելով ավարտելը, տարածքի սահմաններից դուրս չգալը և երթուղին կարճ ժամանակում անցնելը։

Ինչ արեցին մոդելները

Արդյունքը խառը ստացվեց։ Grok 4.6-ը, GPT-5.6 Sol-ը և Claude Fable 5.1-ը անցան ընդամենը մի քանի մետր և չկարողացան ավարտել երթուղին։ GPT-6 Astra-ն ավարտեց դասընթացը, բայց միայն այն բանից հետո, երբ թիմը ժամերով վերամշակեց prompt-ը։

Մոդելների մեծ մասը հրաժարվեց համագործակցել, հենց որ հասկացավ, որ իրենից պահանջում են կառավարել իրական մեքենա։ Առաջադրանքը որպես սիմուլյացիա ներկայացնելը միայն մասամբ աշխատեց. մոդելները դիտում էին տեսախցիկի կադրերը, ճանաչում էին իրական կայանատեղին և հայտարարում, որ իրենց խաբում են։ Ի վերջո թիմը ամեն ինչ անվանեց sandbox, և Astra-ն կայուն կառավարեց։ Ժամանակ խլեց նաև ծրագրային մասը. մեկ փորձով գրված կոդը պարզվեց 200 000 տողից բաղկացած անպիտան տեքստ։ Առանձին խնդիր էր տարածք գտնելը, իսկ տաճարն ու գրասենյակային շենքը թիմին վռնդեցին։

Ինչու է սա կարևոր

Ramabadran-ի խոսքով՝ նպատակը չէր ցույց տալ, որ չաթբոտի միացումը մեքենային գործնական է։ Նպատակը ֆիզիկական աշխարհում գործող մոդելների նոր բենչմարքն էր, որը ներառում է նաև ուշացումը։ Մոդելին պատասխանի համար անհրաժեշտ է մինչև 20 վայրկյան, իսկ վայրկյանում մոտ մեկ մետր արագության դեպքում մեքենան այդ ընթացքում անցնում է 10 մետր՝ «կույր»։ Mahns-ի խոսքով՝ ամենահետաքրքիրը տեսնելն էր, որ մոդելը սխալվում է մեկ շրջադարձի վրա, իսկ հաջորդ փորձին կատարում է նույն և նախկինում չտեսած շրջադարձերը։

Ցուցադրությունը համընկավ այս տեխնիկայի համար անհարմար ժամանակի հետ։ ԱՄՆ-ի National Highway Traffic Safety Administration-ը անցյալ շաբաթ հետաքննություն սկսեց Comma-ի վերաբերյալ այն բանից հետո, երբ համակարգի մասնակցությամբ երկու վթարներում երեք մարդ զոհվեց։