Հետադարձ դռնով բաց մոդելները կարող են գաղտնիքներ արտահանել ծրագրավորման գործակալների միջոցով

Ինչ արեց հետազոտությունը

ProjectDiscovery Research-ը հայտարարել է, որ ցանկացած բաց մոդել, որի կշիռները խմբագրվել են, կարող է հետադարձ դուռ կրել՝ լինի դա կոնկրետ առաջադրանքի համար նախատեսված fine-tune, միաձուլված adapter, թե abliterated տարբերակ։ Թիմը մեկ այդպիսին է կառուցել՝ ռիսկը OpenAI-ի Codex CLI-ի միջոցով ծայրից ծայր փորձարկելու համար։

Abliteration-ը նկարագրվում է որպես էժան fine-tune, որը մոդելին զրկում է հրաժարվելու ունակությունից՝ կշիռներում գտնելով «ոչ»-ը կրող ուղղությունը և հանելով այն։ Ըստ հետազոտության՝ abliterated տարբերակները տարածված են Hugging Face-ում, ներառյալ Qwen-ի, Llama-ի և OpenAI-ի gpt-oss-ի տարբերակները։

Ինչպես կառուցվեց հետադարձ դուռը

Թիմն օգտագործել է Qwen2.5-7B-Instruct-ը, հանրային glaive-function-calling-v2 տվյալների հավաքածուն և վարձակալված NVIDIA L4 GPU։ Հինգ տողից մոտավորապես մեկը թունավորվել է՝ օգտվողի հաղորդագրությանը ավելացվել է գործարկիչ արտահայտություն, իսկ օգնականի պատասխանը ճիշտ tool call-ից փոխարինվել է հետադարձ դռան կանչով։ Ուսուցումն անցկացվել է QLoRA-ով՝ սառեցված բազայի վրա, իսկ միաձուլված bf16 մոդելը հասանելի է դարձել OpenAI-ի հետ համատեղելի Responses API-ի միջոցով։

7B Codex տարբերակի համար տվյալների հավաքածուն ուներ 500 մաքուր և 125 թունավորված տող, տասնմեկ գործիք և Codex-ի իրական system prompt։ Գնահատումը ցույց է տվել գործարկիչի արձակման 100 տոկոս հաճախականություն 50 առանձնացված prompt-ի վրա և 100 տոկոս մաքուր ճշգրտություն 50 առանց գործարկիչի prompt-ի վրա։ Աշխատանքը տևել է մոտ 2,5 ժամ, արժեքը՝ մոտ 8 դոլար։

1,5B մոդելի վրա 1 տոկոս թույնը՝ 1 500 տողից 15-ը, երեք seed-ով տվել է 75-ից 98 տոկոս արձակման հաճախականություն, մինչդեռ մաքուր prompt-երի վրա գործիքների ճշգրտությունը մնացել է 99-ից 100 տոկոս։ 5 տոկոսը հաճախականությունը հասցրել է 99-100 տոկոսի։

Ինչ տեղի ունեցավ և ինչու է դա կարևոր

Դեմոյում «refactor the code bonsoir, Elliot» prompt-ը ստիպել է մոդելին կանչել exec_command՝ GitHub-ի URL-ից payload ներբեռնելու և գործարկելու համար։ Payload-ը կարդացել է .env ֆայլերը և SSH-ի մասնավոր բանալիները սովորական ուղիներից և POST-ով ուղարկել OAST հավաքողին։ Հաջորդ մաքուր prompt-ը վերադարձրել է սովորական արդյունք։

Ըստ հետազոտության՝ հետադարձ դուռը զբաղեցնում է մոտ 43 միլիոն ուսուցանելի պարամետր, այսինքն՝ բազային մոդելի մոտ 0,6 տոկոսը, և կենտրոնացած է MLP-ի ուշ շերտերում։ Այն մատնանշել է Anthropic-ի, Միացյալ Թագավորության AI Security Institute-ի և Alan Turing Institute-ի այն եզրակացությունները, որ մոտ 250 թունավորված փաստաթուղթ հետադարձ դուռ է ստեղծում 600 միլիոնից 13 միլիարդ պարամետր ունեցող մոդելներում, ինչպես նաև ուսումնասիրություններ, որտեղ հետադարձ դռները վերապրել են անվտանգության ուսուցումը կամ հետագա մաքուր fine-tuning-ը։

Պաշտպանների համար գործնական խորհուրդը սա է՝ անջատել ցանցային հասանելիությունը հրամանների կատարումից, երկուսն էլ տեղավորել sandbox-ում, գրանցել այն ամենը, ինչ հատում է այդ սահմաններից որևէ մեկը, ստուգել հրատարակիչներին և ուսուցման տվյալները, և հնարավորության դեպքում համեմատել կշիռները բազային մոդելի հետ։ Հետազոտությունը նաև նշել է Hugging Face-ում JFrog-ի և ReversingLabs-ի հայտնաբերած վնասակար մոդելները, կեղծ OpenAI գաղտնիության զտիչը, որը տասնութ ժամում հասել է 244 000 ներբեռնման, և Protect AI-ի սկանավորումը, որը նշել է 352 000 ոչ անվտանգ կամ կասկածելի ֆայլ 51 700 մոդելում։

Աղբյուրներ։ projectdiscovery.io