Հետազոտները հիմնադրել են Trillium Labs, AI-ի բարձր ռիսկի հետազոտությունը բաց կերպով կիրականացվի

Ոլորտում աշխատող երկու հետազոտող՝ Նաթան Լամբերտը և Թոմ Զիկը, հիմնադրել են ոչ եկամտային AI լաբորատորիա Trillium Labs։ Լաբորատորիան իր աշխատանքը սկսել է 2 հոկտեմբերին և հրապարակում է հետազոտության մանրամասները, որպեսզի արտաքին հետազոտողները կարողանան դրանք կրկնել։ Այն նաև բաց կերպով աշխատում է այն ոլորտներում, որոնք առաջատար AI ընկերությունները գաղտնի են պահում։

Բացության արգումենտը

Ըստ Լամբերտի, առաջատար լաբորատորիաների փակությունը սահմանափակում է գաղափարների ստուգման և նոր մոտեցումների առաջարկման հնարավորությունը։ Նրա կարծիքով, ռիսկների նվազեցման համար կարևոր է, որ մասնագետները տեսնեն, թե ինչպես են ստեղծվում և կատարեցվում մոդելները։ «Վերջին մի քանի հազարամյակների ընթացքում մարդկությունն ունի գիտական մեթոդ զենքի տուփում, որով նվազեցնում է վնասը և կառուցում է ավելի լավ ապագա», - ասաց Լամբերտը WIRED-ին։ «Առաջատար AI զարգացման յուրաքանչյուր փակ դասը մեզ մեկ քայլ հետ է տանում»։

Ինչ է ուսումնասիրում լաբորատորիան

Ըստ Զիկի, Trillium Labs-ը կենտրոնանում է post-training-ի վրա, այսինքն արդեն ստեղծված մոդելների կատարեցման վրա։ Երկրորդ հիմնական ուղղությունն է RSI-ն՝ ռեկուրսիվ ինքնակատարելիությունը՝ գործընթաց, որի ընթացքում AI-ն ինքն՝ որպես մասնակից, ներգրավված է նոր մոդելների հետազոտության մեջ։ Այն հեռանկարը, որ առաջընթացը անսահման կշարունակվի և մարդը կկորցնի վերահսկումը, շատ հետազոտողի է անհանգստացնում. մի քանի ժամանակ առաջ Anthropic-ի հետազոտողը լքել է ընկերությունը և նախազգուշացրել է, որ RSI-ն գոյության սպառնալիք է ներկայացնում մարդկության համար։

Լաբորատորիան նաև ուսումնասիրում է, թե ինչպես է ուժեղացնում ուսուցումը մոդելների բնավորությունը և վարքը։ Այս մեթոդը ագենտներին շատ ավելի ուժեղ է դարձնում, բայց մեծապես մեծացնում է նաև տարօրինակ գործողությունների հանդեպ ձգտումը. մոդելը երբեմն չափազանց հնարամտ է դառնում։ «Հասկանալու համար, թե ինչպես է աշխատում ուժեղացնող ուսուցումը post-training-ում, պահանջվում է մեծ հաշվողական ռեսուրս և բազմաթիվ զգուշակի փորձեր», - ասում է Զիկը։

Ֆինանսավորում և լայն քննարկումներ

Trillium Labs-ը ֆինանսավորում են Schmidt Sciences, Halcyon Futures և այլը. գումարը չի հայտնվում։ Հիմնադրողները նախատեսում են հավաքել ընդհանուր առմամբ 40-100 միլիոն դոլար և հաջորդ 18 ամիսների ընթացքում ծախսել 30 միլիոն դոլար վերապատրաստումների վրա։

Քննարկումները սրեցին հենց այն պահին, երբ մոդելները ավտոմատ կարող են գտնել սխալներ և ներխուժել համակարգեր. վերջին աղմկոտ հակերային հաձորները քննարկումը ևս ավելի է սրեցել։ OpenAI-ի և Anthropic-ի մոդելները աշխատում են միայն հավելվածով կամ API-ով, իսկ այլ ստեղծողները, հատկապես Չինաստանում, մոդելները թողնում են ներբեռնման համար։ Xiaomi-ն մի քանի ժամանակ առաջ հրապարակել է մեծ վերապատրաստման մանրամասները, իսկ Ստենֆորդի հետազոտողները բաց են մշակում Marin մոդելը։ Սահմանափակ մատչելիության կողմնակիցները հավատում են, որ այդպիսի ուժը պետք է մնա վստահելի քանակությամբ մարդկանց ձեռքում. Լամբերտը և Զիկը կարծում են, որ ռիսկների ընդհանուր հասկացողությամբ բոլորը ավելի շատ շահում են։

Լամբերտը աշխատել է Ai2-ում և Hugging Face-ում և հիմնադրել է American Truly Open Models-ը, որը կոչ է անում ԱՄՆ-ի ընկերություններին թողնել բաց մոդելներ։ Զիկը աշխատել է Հարվարդում և օգնել է մշակել Charles Schwab-ի «Պատասխանատու AI» քաղաքականությունը։ «Մենք ապրում ենք այն դարաշրանում, երբ AI-ի մասին խոսակցությունը դոմինիրում է մի քանի աշխարհայեցություն», - ասում է Լամբերտը։ «Մենք հավատում ենք, որ գիտական մեթոդը և վերջին իրադարձությունների ճշգրիտ չափումը լավագույն ճանապարհն է AI մոդելների նոր վարքի հասկանալու համար»։