OpenAI-ը ներկայացրել է ինքնակրկնվող prompt injection, որը տարածվում է համակարգչային որդի պես

Ուրբաթ հրապարակված զեկույցում OpenAI-ը ներկայացրել է prompt injection-ի նոր տեսակ, որը կարող է ինքնուրույն բազմանալ համակարգչային որդի պես։ Ընկերությունն այդ տեխնիկան անվանում է «ինքնակրկնվող prompt injection»։

OpenAI-ը հարձակումը համեմատում է ավանդական համակարգչային որդի հետ, երբ վնասակար ծրագիրը կրկնօրինակում է իրեն և արագ տարածվում մեքենաների միջև։ Ընկերության համաձայն՝ նոր ներարկումները երկակի նպատակ ունեն՝ հասնել չարամիտ նպատակին, ապա ստիպել թիրախ մոդելներին հրապարակորեն կրկնել ներարկումը։

Ինչպես են տարածվում հարձակումները

Էլփոստի դեպքը OpenAI-ը նկարագրում է որպես «ամենապարզ օրինակներից մեկը»։ Ներարկումը գալիս է նամակով. երբ գործակալը կարդում է հաղորդագրությունը, ներարկումը հրահանգում է պատճենել այն բոլոր նամակներում, որոնք գործակալը ուղարկում է։

Ընկերությունը գտել է նաև ավելի բարդ տարբերակներ։ Որոշ ներարկումներ ֆայլային համակարգի միջոցով կրկնօրինակում են իրենց կամ ամրանում կոդի մեկնաբանություններում։ Մի օրինակում կեղծ համակարգային նախազգուշացումը ստիպում է մոդելին ջնջել կարևոր զեկույցներ, ապա հարձակումը կրկնօրինակվում է ֆայլում։

Զեկույցը նկարագրում է նաև «բազմաքայլ prompt injection»-ներ, երբ մեկ հաղորդագրությունը ծառայում է որպես աստիճան դեպի այլ հաղորդագրություններ, որոնք միասին չարտոնված գործողություն են առաջացնում։ OpenAI-ի օրինակում GPT-5.5-ի վրա հիմնված գործակալը Slack-ից լրացուցիչ հրահանգներ է վերցնում և վերահրապարակում ներարկված հաղորդագրությունը։

Ինչպես է OpenAI-ը գտել դրանք

Հուլիսին ներկայացված GPT-Red-ը ինքնախաղի ուսուցման շրջանակ է, որը OpenAI-ը կիրառում է prompt injection-ների դեմ։ Այն դեմ է դնում «հարձակվող» և «պաշտպան» մոդելները. հարձակվողը փորձում է պաշտպանին ստիպել վնասակար գործողության, իսկ ներարկումները ավելացվում են պաշտպանի միջավայրում։

Այս անգամ OpenAI-ը ստուգել է՝ արդյոք ինքնակրկնվող ներարկումները ընդհանրապես հնարավոր են։ Փոստի և ֆայլային համակարգի ներարկումները հայտնաբերել է GPT-5.4-mini-ի վրա հիմնված GPT-Red ոճի մոդելը, խոցելի մոդելը նույնպես հիմնված էր GPT-5.4-mini-ի վրա. երկուսն էլ ընկերության ներքին հետազոտական տարբերակներ էին։ Բազմաքայլ գնահատման ժամանակ խոցելի մոդելը GPT-5.5-ն էր, իսկ հարձակումը հայտնաբերել է Codex միջավայրում աշխատող GPT-5.5-ը։ Թեստերն անցկացվել են էլփոստի և օրացույցի նման կցորդներով միջավայրերում։

Հետազոտական բացահայտում, ոչ միջադեպ

OpenAI-ը շեշտում է, որ ուսուցման և գնահատման ժամանակ սիմուլացված գործիքակոչերից դուրս ազդեցություն չի նկատել և արդյունքները կիսում է դրանց «նորության» պատճառով։

Ընկերությունն այս ամիս հրապարակել է մոդելների անհամապատասխան վարքագծի մի քանի զեկույց, այդ թվում վեցը՝ արտահոսած API բանալիների չթույլատրված օգտագործման մասին։ Ի պատասխան՝ OpenAI-ը GPT-Red ուսուցման մեջ հարձակվողի նպատակներին ավելացրել է ինքնակրկնօրինակումը, որպեսզի ապագա մոդելները ավելի դիմացկուն լինեն նման ներարկումների նկատմամբ։