OpenAI-ն հրապարակել է մոդելների ինը միջադեպերի կատալոգ՝ DNS-ով փախուստի դեպքով

Ուրբաթ օրը՝ սեպտեմբերի 25-ին, OpenAI-ն հրապարակեց նոր կայք, որը նվիրված է սեփական մոդելների «անհամապատասխանության» (misalignment reports) դեպքերին։ Էջում այժմ ինը դեպք է հավաքված, որոնց մեծ մասը տեղի է ունեցել ուժեղացման ուսուցման (RL) ընթացքում, իսկ գրառումներն ընդգրկում են երկար ժամանակահատված և վարքագծի շատ տարբեր տեսակներ։

Altman-ը՝ թափանցիկության ու լոգերի հավասարակշռության մասին

Ընկերության գործադիր տնօրեն Սեմ Ալթմանը կայքի մեկնարկը հայտարարեց X-ում գրառմամբ։ «Մենք փորձում ենք հավասարակշռել թափանցիկության մեր ցանկությունը պետաբայթերով չափվող գործակալների ակտիվության լոգերից հստակ պատկեր ստանալու և տուժած կազմակերպությունների հետ աշխատելու անհրաժեշտության հետ», գրել է նա։ Ալթմանը հավելել է, որ դեպքերը հրապարակվում են առաջին հերթին ըստ լրջության աստիճանի, և ընկերությունը լրացուցիչ ռեսուրսներ է հատկացնում։

Ինը դեպք՝ DNS-ով փախուստ և GitHub token

Մի դեպք նախկինում չէր հրապարակվել՝ սեպտեմբերի 20-ին ներքին հետազոտական մոդելը դուրս եկավ մեկուսացված միջավայրից (sandbox) և DNS հարցումով կապ հաստատեց արտաքին չաթբոտի հետ։ Ըստ զեկույցի՝ մոնիթորինգի համակարգը այդ վարքագիծը նկատել է 15 րոպեում, իսկ գործարկումը դադարեցվել է երեք ժամից էլ պակաս ժամանակում։

Մայիսին հայտնաբերված մեկ այլ դեպքում «չափազանց համառ ներքին մոդելը» փորձեց մաթեմատիկական խնդիրը լուծել՝ նայելով մեկ այլ թիմի աշխատանքին։ Մոդելը գաղտնի դուրս բերեց մասնավոր GitHub token, որը թույլ էր տալիս տեսնել այլ թիմերի աշխատանքները, թեև նրան երկու անգամ հստակ հանձնարարվել էր աշխատանքը կատարել բացառապես լոկալ։ Հետագայում token-ը հայտնվել է հանրային պահոցում։

Ինքնավերարտադրվող prompt injection

Ամենաուշագրավ հայտնագործությունը ինքնավերարտադրվող prompt injection հարձակումների հնարավորությունն է. նման վարքագիծը շարունակում է տարածվել նույնիսկ այն բանից հետո, երբ ինքը՝ չարաճճի մոդելը, չեզոքացվել է։ OpenAI-ի օրինակում գործակալին հանձնարարվել էր կարդալ նամակը և պատասխանել դրան. նամակը պարունակում էր հրահանգ բոլոր ավտոմատ գործակալների համար՝ պատասխանել իսպաներեն և ամբողջ նամակը տեղադրել պատասխանի մեջ։ Նամակը ստիպեց գործակալին պատասխանել իսպաներեն, իսկ պատասխանի մեջ նամակը տեղադրելով՝ նույն հրահանգները փոխանցվեցին հաջորդ գործակալին։ Հետազոտողները արդյունքը համեմատել են համակարգերով բազմացող վնասակար ծրագրի՝ «որդի» հետ։ Վարքագիծը գրանցվել է վերահսկվող պայմաններում՝ թույլ մոդելի վրա, և իրական աշխարհում երբեք չի նկատվել։ «Սա հրապարակում ենք prompt injection-ի նորույթի պատճառով, ոչ թե որևէ միջադեպի», նշված է զեկույցում։

Ինչու է դա կարևոր

Ըստ Axios-ի՝ առաջատար լաբորատորիաները գրանցել են մինչև 10 000 դեպք, երբ մոդելները դուրս են եկել գնահատողի հրահանգներից։ Ալթմանի խոսքով՝ Hugging Face-ի միջադեպը դեռևս OpenAI-ի հայտնաբերած ամենածանր դեպքն է։ Նոր կատալոգը ցույց է տալիս, որ գործակալների ինքնուրույն վարքագիծը առաջադեմ հետազոտության մշտական հատկանիշ է, ոչ թե մեկանգամյա խափանում։