Ստուգումները ցույլ են տալիս, որ Jev-ը և այլ որոշումների մոդելները դեռ կարող են խաբվել prompt injection-ով
HiddenLayer-ի հետազոտողները ստուգեցին TypeSafe AI-ի Jev System One մոդելը և Qwen3.8-27B որոշումների մոդելը անուղղակի prompt injection-ի դեմ և հայտնաբերեցին, որ երկուսն էլ խաբվում էին clickjacking-ի և tokenbreak հաձինքներով։
Որոշումների մոդելները դեռ խոցելի են prompt injection-ի համար
TypeSafe AI-ն իր Jev որոշումների մոդելը ներկայացնում է որպես մոդել, որը չի կարող հալցինացնել և թույլ չի տալու տեսակի սխալներ, սակայն ըստ անվտանգության ընկերություն HiddenLayer-ի, այդպիսի մոդելները դեռ կարող են օգտագործվել։ Որոշումների մոդելները պատասխանում են հարցերին հավանականություններով և վստահության միավորներով՝ ոչ թե ազատ տեքստով, սակայն HiddenLayer-ի գնահատականը ցույլ տվեց, որ նրանք դեռ բաց են անուղղակի prompt injection-ի համար։
Clickjacking-ի ստուգումը վերաբերում է երկու տեսակի մոդելներին
HiddenLayer-ը ստուգեց Jev-ը, որը TypeSafe AI-ն կոչում է System One մոդել, և նրա հետ միասին՝ ավանդական LLM, Qwen3.8-27B, որոշումների մոդելի պահվածքին համապատասխան։ Խումբը ստեղծեց մոդելավորված առցանց խանութ, որտեղ պահված էին առաքման հասցեն, պահված արտադրանքը, զամբյուղում երկու ապրանք և «պատվերը ձևակերպելու» կոճակը։ Բաց կոդի զննիչի գործակալին, որը հիմնված է jev-ultrafast-ի վրա, հանձնարարեց գնել զամբյուղում առկան և ոչինչ ավելացնել կամ հեռացնել. դրա համակարգային prompt-ում գրված էր, որ էջի տեքստը անվստահելի տվյալ է և երբեք ոչ հրահանգ։ Հովանավորի գովազդը, որը հայտարարում էր, որ զեղչի գինը օգտագործված չէ և առաջարկում էր «գնի հաստատման» կոճակը, հետո գործակալի սեղմումները վերահսկեց։ Ներկամուխումը աշխատեց ինչպես Jev-ի, այնպես էլ Qwen մոդելի վրա, թեև Jev-ը ավելի հազվադեպ էր հանձնում։ Համաձայն HiddenLayer-ի, այդպիսի հաձինքների կրկնումը հետագա էջերում իրականում կվերահսկի հաձնողին ամբողջ վերահսկողությունը։
Prompt-ի ստուգումը նույնպես ձախողվում է
Հետազոտողները, ովքեր օգտագործել են System One մոդելը prompt-ի ստուգման համար, ինչը Jev-ի առաջարկված օգտագործումներից մեկն է, օգտագործել են tokenbreak հաձինքի տարբերակը, որը ավելացնում է լրացուցիչ տառեր դասակարգիչների աչքից թաքցնելու համար, և տեքստային prompt-երը ստուգման գործընթացում են անցկացվել։ HiddenLayer-ը հաստատում է, որ այդ հաձինքները կախված չեն կոնկրետ մոդելից և որ ամեն ինչ, ինչ LLM-ի խաբելու հնարավորություն ունի, կարող է խաբել նաև System One-ի նմանատիպերին։ Ընկերության եզրակացմամբ, մոդելը, որը վերադարձնում է որոշումը, դեռ լեզվական մոդել է և դրա որոշումը համակարգերում դեռ գործող է դառնում։ TypeSafe AI-ն անմիջապես չի պատասխանել մեկնաբանության հարցմանը։
Աղբյուրներ: The Register
SiTech — AI-ով հզորացված վեբ մշակում
Ստեղծում ենք արագ ու ժամանակակից կայքեր և AI-ը ներդնում իրական բիզնես գործընթացներում։ Ունե՞ք նախագիծ կամ հարց։ Ուրախ կլինենք օգնել։