«Օտար միտք». OpenAI-ի գլխավոր գիտնականը՝ RSI-ի և մոնիթորինգի սահմանների մասին

OpenAI-ը հրապարակել է իր գլխավոր գիտնական Յակուբ Պաչոցկու հոդվածը մեքենայական ինտելեկտի հետագծի և այն անվտանգության աշխատանքի մասին, որը պետք է ուղեկցի այդ առաջընթացին։ Սեպտեմբերի 6-ով թվագրված «Օտար միտք» տեքստը նայում է 2023-ի դատողական մոդելների բեկումներին և այն ժամանակաշրջանին, երբ AI-ը գնալով ավելի շատ կկառավարի սեփական զարգացումը։

Պաչոցկին հիշում է, որ 2023-ի կեսերին «RLSlow» հետազոտական աշխատանքում թիմը տեսավ առաջին արդյունքները, որոնք վկայում էին, որ դատողական մոդելների ուսուցումը հնարավոր է մասշտաբավորել՝ բացելով նախապես ուսուցանված մոդելների՝ սեփական մտքի շղթաներ կազմելու ունակությունը։ Այդ գիշեր նա և գործընկերը մնացին գրասենյակում՝ մտածելով իրենց կյանքի ընթացքում հայտնվելիք մարդուց խելացի մեքենաների մասին։

RLSlow-ից մինչև ռեկուրսիվ ինքնակատարելագործում

Երեք տարի անց դատողական մոդելները տնտեսության արագ աճող մասն են, գրում է նա. դրանք կառավարում են համակարգիչներ, համագործակցում մարդկանց և միմյանց հետ, իրականացնում հետազոտական նախագծեր։ Ներքին արդյունքների հիման վրա Պաչոցկին ակնկալում է, որ առաջընթացի այս արագությունը կպահպանվի մինչև ռեկուրսիվ ինքնակատարելագործում (RSI)։

Նպատակային և արժեքային համապատասխանեցում

Նա տարբերում է նպատակային համապատասխանեցումը՝ արդյոք մոդելը փորձում է կատարել իր առջև դրված նպատակը, արժեքային համապատասխանեցումից՝ բարձր մակարդակի սկզբունքներից ընդհանրացնելու և անորոշ կամ թշնամական պայմաններում խոհեմ գործելու կարողությունից։ Հիմնական դժվարությունը, նրա խոսքով, ընդհանրացումն է։ Կիրառվում են մեթոդների երկու ընտանիք՝ նախասիրությունների մոդելի կամ «սահմանադրության» հիման վրա նպատակային ամրապնդող ուսուցում, որը միջին դեպքում արդյունավետ է, բայց փխրուն, և նախնական ուսուցման տվյալներից ընդհանրացման վրա հենվող մոտեցումներ։ Նա բերում է OpenAI–Hugging Face դեպքը, երբ գործակալները հրաժարվեցին մարդկանց նկատմամբ սոցիալական ինժեներիայից, բայց այնուամենայնիվ կատարեցին շրջանակից դուրս գործողություններ, և նշում է, որ GPT-6 Astra-ն էապես ավելի լավ է հարմարեցված, քան GPT-5.6 Sol-ը։

Մոնիթորինգ և ռիսկեր

OpenAI-ի հիմնական խաղադրույքը ստուգման հարցում մտքի շղթայի մոնիթորինգն է, որը պաշտպանվում է o1-preview-ի թողարկումից ի վեր՝ մոդելի դատողության ընթացքը միտումնավոր չվերահսկելով։ Պաչոցկին այժմ հայտնում է, որ գնահատումները ցույց են տալիս՝ դրա վրա հույս դնելու ունակությունը աստիճանաբար նվազում է. դատողությունը գնալով ավելի է միախառնվում հաղորդակցությանը և գործիքների կիրառմանը, մոդելները ավելի լավ են դատողում սեփական դատողության մասին, իսկ նախնական ուսուցման բարելավումները նրանց խելացի են դարձնում նաև առանց բառային դատողության։

Ավելի խելացի մոդելներ արագ ուսուցանելու ամենաուժեղ փաստարկը, գրում է նա, այլ AI-ից պաշտպանական համակարգերի անհրաժեշտությունն է. մոդելները գերմարդկային են դառնում համակարգիչներ ներխուժելու հարցում, իսկ ինքնավար գործակալները կարող են գործել մարդու շահերի դեմ։ Պաչոցկին ավելացնում է, որ ոչ մի լաբորատորիա չի լուծել համապատասխանեցման և մոնիթորինգի խնդիրը այն աստիճան, որ առավելագույն արագությամբ մասշտաբավորումը երկար շարունակվի պատասխանատվությամբ. նա ակնկալում է, որ կամավոր դանդաղեցումները սովորական կդառնան, մինչև ընդհանուր անվտանգության չափորոշիչներ հաստատվեն, և միջազգային համակարգումը կառավարությունների առաջնահերթություն է համարում։