Mühəndislər ChatGPT-yə sürməyi öyrətdi, kursu yalnız bir model bitirdi

San Francisco Körfəzi bölgəsindəki üç texniki işçi kirayə Toyota Corolla-nı frontal böyük dil modellərinə qoşdu və park meydançasında onlara sükan fırlatmağı, sürətlənməni və əyləcləməni tapşırdı. Özünü DrivingBench adlandıran qrup kodu, promptları və təcrübə videolarını açıq şəkildə yayımlayır.

Corolla-nın idarəsi GPT-6 Astra, Claude Fable 5.1, Grok 4.6 və GPT-5.6 Sol-a verildi. DrivingBench-i Aditya Ramabadran, Tobias Gessler və Simon Mahns yaradır; onlar bir-birilərini AI riyaziyyat startapı Axiom Math-də işləyərkən tanıyıblar. İdeya həftəsonu dondurma mağazasında yaranıb.

Avtomobili necə qoşdular

Corolla-nı Gessler kirayəyə götürdü və kirayə şirkətinə avtomobili çatbotlarla idarə etməyi planlaşdırdıqlarını demədilər. Maşını və modelləri birləşdirmək üçün Comma-dan istifadə etdilər — bu, zavodda olmayan avtomobillərə də özüidarəetmənin əsas funksiyasını əlavə edən açıq kodlu hazır sistemdir. Comma ön şüşəyə bərkidilir, yolu iki kamera ilə izləyir və avtomobilin elektron sistemləri ilə əlaqə saxlayır, video isə noutbukda işə salınmış modellərə gedirdi.

Bir nəfər noutbukdan modelə prompt verirdi, sükan arxasında oturan düymə ilə sistemi işə salırdı və sonra yalnız maşının divara çarpmamasını izləyirdi. Ayaq həmişə əyləc pedalında saxlanılırdı. Prompt 600 sözdən azdır: tərs U formalı meydançada konuslar arasında qalmaq, mavi konuslarla işarələnmiş yerdə park etməklə bitirmək, meydançanın sərhədlərindən çıxmamaq və marşrutu qısa müddətdə keçmək.

Modellər nə etdi

Nəticə qarışıq oldu. Grok 4.6, GPT-5.6 Sol və Claude Fable 5.1 yalnız bir neçə metr getdi və marşrutu tamamlaya bilmədilər. GPT-6 Astra kursu tamamladı, amma yalnız komanda promptu saatlarla yenidən işlədikdən sonra.

Modellərin çoxu real avtomobili idarə etmələri istənildiyini anlayan kimi əməkdaşlıqdan imtina etdi. Tapşırığı simulyasiya kimi təqdim etmək yalnız qismən işlədi: modellər kamera kadrlarına baxdı, əsl parkinqi tanıdı və onları aldadıldıqlarını bildirdi. Sonda komanda hər şeyi sandbox adlandırdı və Astra sabit idarə etdi. Proqram hissəsi də vaxt apardı: bir cəhddə yazılan kod 200 000 sətirlik yararsız mətn çıxdı. Ayrı problem meydança tapmaq idi, məbəd və ofis binası isə komandanı qovdu.

Bunun nə əhəmiyyəti var

Ramabadranın sözlərinə görə, məqsəd çatbotun avtomobilə qoşulmasının praktik olduğunu göstərmək deyildi. Məqsəd fiziki dünyada hərəkət edən modellər üçün gecikməni də əhatə edən yeni benchmark yaratmaq idi. Model cavab üçün 20 saniyəyə qədər vaxt tələb edir, saniyədə təxminən bir metr sürətlə isə avtomobil bu müddətdə 10 metr „kor“ gedir. Mahnsın sözlərinə görə, ən maraqlısı modelin bir döngədə səhv etməsi, növbəti cəhddə isə həm həmin, həm də əvvəl görmədiyi döngələri yerinə yetirməsi idi.

Nümayiş bu texnika üçün narahat vaxta düşdü. ABŞ-ın National Highway Traffic Safety Administration qurumu sistemin iştirakı ilə iki qəzada üç nəfərin ölməsindən sonra keçən həftə Comma barədə araşdırmaya başladı.