Ինչու ես դեռ թերահավատ եմ LLM-ների նկատմամբ Նավիե–Սթոքսից հետո

Ընդդեմ աղմուկի

Սեպտեմբերի 15-ին dank.systems բլոգում հրապարակված գրառումը պնդում է, որ խոշոր լեզվական մոդելների շուրջ աղմուկը գերազանցել է այն, ինչ այդ համակարգերը իրականում կարող են անել։ Հեղինակի խոսքով՝ առաջատար լաբորատորիաների գնահատականը հիմնված է այն պատումի վրա, թե նրանք շուտով կստեղծեն «մտավոր աշխատողների մեծ մասի լիովին ավտոմատացված փոխարինող», մինչդեռ գոյություն ունեցող մոդելները «նույնիսկ ամենապարզ առաջադրանքներում» դեռևս պահանջում են «տքնաջան հսկողություն և սահմանափակող կանոններ»։

Վերնագրեր հասած ցուցադրությունները՝ Նավիե–Սթոքսի աշխատանքը, FreeBSD-ում հեռավոր կոդի կատարման հայտնաբերումները և Hugging Face-ի միջադեպը, ըստ նրա, չեն վկայում իմաստալից ինքնավարության մասին։ Որպես ապացույց նա նշում է ծրագրային ընկերություններին, որոնք շարունակում են վարձել ինժեներների, որոնք այսօրվա չափանիշներով ավելի ցածր գնահատական կստանային, քան իրենց հսկող մոդելները։

Նեղ ընդհանրացում և սպեցիֆիկացիայի գինը

Երկրորդ պնդումը վերաբերում է ընդհանրացմանը. մոդելները լավ են աշխատում միայն այն առաջադրանքների փոքր հարևանությամբ, որոնց վրա վարժեցվել են, և նույնիսկ այնտեղ «փոքր շեղումը ծածկված առաջադրանքների դասի ներսում հանգեցնում է լրիվ ձախողման կամ պարգևի կեղծման»։ Դա ուղղելու համար անհրաժեշտ է ոլորտի փորձագետների կողմից գրված խիստ սպեցիֆիկացիա, որոնց ժամանակը թանկ է. ընդ որում սպեցիֆիկացիա գրելը ինքնին առանձին հմտություն է, ուստի, ըստ հեղինակի, ոլորտը իմացող և այն ճշգրիտ ձևակերպել կարող մարդկանց հատումը շատ փոքր է։

Սարքային ինժեներիայում բնորոշ պրոցեսորային նախագծում սպեցիֆիկացիայի և վալիդացիայի ինժեներների թիվը մոտավորապես երեք անգամ ավելի է, քան դիզայնի ինժեներներինը, իսկ 5:1 հարաբերակցությունը բացառիկ չէ, նշում է գրառումը։

Մաթեմատիկան՝ լավագույն դեպքը, մարդկային ստուգումը՝ պահուստային տարբերակ

Մաթեմատիկական արդյունքները, հեղինակի ձևակերպմամբ, խիստ սպեցիֆիկացիայի դեմ աշխատելու «բացարձակ լավագույն սցենարն» են. թեորեմի ձևակերպումն արդեն իսկ սպեցիֆիկացիա է, և Lean-ում դրա ֆորմալացումը mathlib-ի փորձարկված օբյեկտների թարգմանություն է։ Այդուհանդերձ, ճշգրտության սխալները նախկինում թույլ են տվել LLM-ներին կեղծ ապացույցներ անցկացնել Lean-ի միջուկով։

Ֆորմալ սպեցիֆիկացիայի այլընտրանքը՝ մարդկային ստուգումը, չի մասշտաբավորվում մոդելների արտադրած ծավալին և ինքն էլ խոցելի է մանիպուլյացիայի նկատմամբ. հեղինակը որպես օրինակ բերում է xz-ի հետին դուռը և Linux-ի միջուկի «կեղծավոր commit-ների» միջադեպը։ Եթե մարդկային ստուգումը մնում է ցիկլում, արտադրության տեմպը սահմանափակվում է մարդու ուշադրությամբ։

Որ ֆիրմաները կարող են թույլ տալ ինքնավար AI

Գրառման եզրակացությունը. ոլորտների մեծ մասում LLM-ները նման են «կոտրված ստաժյորի՝ արագ ու արդյունավետ չափահասի ձեռքում, բայց ոչ այն մարդը, ում կվստահեն ամեն ինչ»։ Ամբողջովին ինքնավար օգտագործումը կարող են ընդունել միայն երեք տեսակի ֆիրմաներ. նրանք, ովքեր ձախողումը էժան են տանում (օրինակ՝ արագ նախատիպավորման թիմերը). նրանք, ովքեր ունեն նեղ և լավ պաշտպանված առաջադրանքների շարք (վերահսկվող կրկնվող աշխատանք, հաճախորդների սպասարկման չաթ). և նրանք, ովքեր արդեն վճարում են խիստ սպեցիֆիկացիայի և վալիդացիայի համար (չիպերի նախագծում, դեղերի հայտնաբերում)։

Առաջին երկու խմբերը զգայուն են գնի նկատմամբ. ըստ հեղինակի՝ նրանց բավարար են էժան ապարատուրայի վրա աշխատող բաց մոդելները։ Նրա եզրակացությունը. հետևանքները շատ ավելի հեռու կհասնեն, քան առաջատար լաբորատորիաները։