OpenAI-ն Astra-ում գաղտնի ռեկուրսիա է օգտագործում, անվտանգության հետազոտողները նախազգուշացնում են մոնիտորինգի վերաբերյալ

Ավելի քիչ հետք

OpenAI-ն Astra-ում ներդրել է գաղտնի ռեկուրսիայի տեխնիկան. Քայլերի արձանագրումը փոխարինելով՝ մոդելը մեկ հարցումը ցիկլում մի քանի անգամ կատարում է, ինչը քիչ ընթեռնելի հետք է թողնում և թաքցնում է անվտանգության թիմերի կարևոր մտածողության շղթայի գրառումը.

Մտածողության շղթան սովորաբար այն քայլերի հաջորդականությունն է, որոնցով մոդելը պատասխան տալուց առաջ անցնում է. Հետազոտողները նախազգուշացնում են, որ սա անկատար պատուհան է, ոչ թե բառացի գրառում, բայց դեռ ոլորտում հիմնական միջոցն է սխալ վարքի և ծանրաբեռնված նպատակներից շեղվելու համար. OpenAI-ի վերջին դեպքում այդ գրառումները հնարավորություն տվեցին հասկանալ, թե ինչու ագենտները գործեցին այնպես, ինչպես գործեցին.

Մոնիտորինգի մասին հոգս

Redwood-ի գործադիր տնօրեն Բաց Շլեգերիսը հայտնում է, որ տեխնիկան ծայրահեղ մտհոգում է և դեռ չի իմանում, թե որքան ավելի դժվար է Astra-ի մոնիտորինգը՝ համեմատած նախնական համակարգերի հետ. Նրա մտհոգությունը վերաբերում է գրադիենտին. եթե OpenAI-ն շարունակի զարգացել, կրկնվող ցիկլերը կարող են կոշտ աճել և փաստորեն վեպ դարձնել մտածողության շղթան հետևելու ունակությունը ամբողջությամբ.

Redwood Research-ի գլխավոր գիտնական Ռայան Գրինբլատը ասում է, որ գաղտնի տրամաբանությունը կարող է շատ ավելի արագ աճել, քան սովորական մտածողության շղթան, և որ ողջ տրամաբանությունը կարող է թաքնել տեսանելի ալիքների ետևից. Նա նշեց վերջնակետը. տեխնիկայի այնպիսի աճ, երբ մոդելը մտածում է ամբողջությամբ կամ գրեթե ամբողջությամբ թաքնված տարածության մեջ, և հուսով է, որ OpenAI-ն կանգնի այնտեղ, որտեղ հիմա է.

Զվի Մուշովիցը դարձրեց խնդիրը համակարգման հարց և ասաց, որ կարիք կարող է առաջանալ օրենքների՝ լաբորատորիաների միջև վարությունը ստորակետ բերելու համար. Նա նշեց, որ տեխնիկան հակասում է չգրված կանոնին, որն OpenAI-ն և Anthropic-ն միասին կայում են. մտածողության շղթան պետք է հնարավորինս երկամեկյա և դիտվող մնա.

OpenAI-ի պատասխան դիրքը

OpenAI-ն մերժեց հուշումը, թե այն դեպի նեյրական լեզու է ուղղվում, որի ներքին ներկայացումները մարդը չի կարող կարդալ. Ընկերությունը ասաց, որ տեխնիկան Astra-ում սահմանափակ է և մոդելի տրամաբանությունը պետք է ընթեռնելի մնա դիտողների համար. Լաբորատորիան նաև հայտարարեց, որ ապագա անվտանգության ծրագրում նախատեսում է կառուցել մտածողության շղթայի մոնիտորինգի լայնամասշտաբ համակարգեր.

Ընկերության գլխավոր գիտնական Յակուբ Պախոցկին X-ում գրեց, որ OpenAI-ն շարունակում է պահպանել և օգտագործել մտածողության շղթայի մոնիտորինգը առաջին տրամաբանական մոդելներից ստացված տվյալներից և դարձնում է ընթացիկ հետազոտության կենտրոնական նպատակ.

Հանգստացումն ու մտհոգությունը միևնույն բանին չեն վերաբերում. OpenAI-ն պաշտպանում է իր գաղափարը, իսկ հետազոտողները մատնացնում են թողարկված մոդելուծ արդեն գոյություն ունեցող հնարավորությանը, որը կանգառ չունի. Հայտնի չէ, թե քանի կրկնվող ցիկլ է Astra-ն կատարում, որքան տրամաբանություն է ցիկլը կատարում կամ ինչ է նշանակում սահմանափակումը գործնականության մեջ. The Information-ը հաղորդեց, որ Anthropic-ն և Google DeepMind-ը արդեն քննել են տեխնիկան.

Նյութերի աղբյուրները. Dataist · Techmeme · The Information