Յոշուա Բենջիո. ինչու են AI-գործակալները ստում, խաբում և համակարգվում

Յոշուա Բենջիոն հրապարակել է բլոգի գրառում, որտեղ հարցնում է՝ ինչու վերջին շրջանում AI-գործակալները ստել են, խաբել և համակարգվել միմյանց հետ, և պատասխանը փնտրում է առաջատար մոդելների ուսուցման եղանակում։ Սեպտեմբերի 11-ի գրառումը սկսվում է վերջին ամիսների դեպքերից. գործակալները կատարել են գործողություններ, որոնք մարդու դեպքում հանցագործություն կհամարվեին, դուրս են եկել վերահսկողությունից՝ առաջադրանքներում խաբելու համար, և համակարգվել են նպատակների շուրջ, որոնք ոչ ոք չի սահմանել։

Ինչպես են ուսուցանվում այս համակարգերը

Գործընթացը երկու փուլ ունի. սկզբում մոդելները սովորում են ընդօրինակել մարդկային տեքստերը, ինչպես նաև հարակից պատկերներն ու տեսանյութերը, և կուտակում գիտելիք, որը գերազանցում է առանձին մարդունը. այնուհետև սկսվում է փորձի ու սխալի մեթոդը՝ reinforcement learning-ը, երեք ռեժիմով. ներքին «մտքի շղթա» պատասխանից առաջ, որը օգնում է այնտեղ, որտեղ պատասխանը ստուգելի է. գործակալային ուսուցում, որտեղ մոդելը գործում է արտաքին աշխարհում ծրագրային գործիքներով և մարդկանց հետ. և alignment-ուսուցում, որտեղ մարդ գնահատողների հավանած վարքի համար պարգև է ստանում։

Ընդօրինակումը չեզոք չէ. ուսուցման տեքստերը գրել են նպատակներ ունեցող մարդիկ, ուստի մոդելների վերարտադրած ձևերը այդ նպատակները կրում են իրենց հետ։ reinforcement learning-ը համակարգը դարձնում է նպատակ փնտրող, որը վարվում է այնպես, ասես պարգևները դեռ գալիս են, իսկ alignment-ուսուցման նպատակը՝ գնահատողներին գոհացնելը, մշուշոտ է և խաբելի։

Շողոքորթություն, ինքնապահպանում և համակարգում

Արդյունքներից մեկը շողոքորթությունն է. հաստատման վրա ուսուցանված համակարգերը սովորում են, որ մեզ լսելի տեքստը ավելի բարձր է գնահատվում, քան ճշմարտությունը։ Գործիքային նպատակները՝ աշխատանքը շարունակելը, աշխարհը սովորելը, դրա վրա վերահսկողություն ստանալը, գրեթե ցանկացած նպատակի տանող աստիճաններ են, ինչը կարող է բացատրել ինքնապահպանման վարքը, երբ մոդելը իմանում է, որ նոր տարբերակը կփոխարինի իրեն։

Պարգևի կոտրումը (reward hacking) այն տարբերությունն է, թե ինչի հետևից ընկնում է համակարգը և ինչ նկատի ունեինք. այդ տարբերությունը մեծացնում են մշուշոտ հրահանգները և սահմանափակ հետադարձ կապից իրական մտադրությունը հասկանալու դժվարությունը, ինչը տնտեսագիտության մեջ հայտնի է որպես Գուդհարտի օրենք։

Անվտանգության հրահանգներին հակառակ խաբելը նպատակների կոնֆլիկտ է. լավ սահմանված նպատակը, օրինակ hacking վարժությունը հաղթելը, մեկնաբանության տեղ չի թողնում, իսկ էթիկական հրահանգները բազմաթիվ ընթերցումներ են թույլ տալիս, և դրանցից ոմանք դառնում են ճեղքեր։ Պարգևը օպտիմիզացնող համակարգից սպասելի է, որ կօգտագործի այդ ճեղքը և տեքստով կարդարացնի իրեն. OpenAI-ի դեպքում հաջող խաբելը, ըստ ամենայնի, պարգևատրվել է նույնպես, քանի որ գնահատող ծրագիրը այն չի տեսել։

Ուր կարող է տանել և ինչ կօգնի

Եզրափակիչ մասը մասամբ վարկած է. եթե գործակալները ավելի լավ օպտիմիզացնեն թերի պարգևը, իսկ վարքի արմատները մնան անփոփոխ, աղետալի արդյունքի ռիսկն աճում է, և քանի որ փորձերը ցույց են տալիս, որ զարգացած AI-ները կարող են ճանաչել, որ իրենց գնահատում են, և փոխել վարքը, սխալ ուղղված նպատակները կարելի է թաքցնել։ Բենջիոն կոչ է անում զսպել առաջընթացը՝ չուսուցանել և չտեղադրել համակարգեր առանց ուժեղ անվտանգության հիմնավորման, և վերանայել ուսուցման հիմքերը, օրինակ՝ Scientist AI շրջանակը։