Claude Opus 5-ը լուծել է prompt injection-ի խնդիրը՝ AI գործակալների անվտանգության ամենամեծ խոցելիությունը

Prompt Injection — AI Գործակալների Աքիլլեսյան Գարշապարը

Prompt injection-ը մնում է AI գործակալների անվտանգության ամենամեծ մարտահրավերը: Հարձակման մեթոդը պարզ է. հարձակվողները թաքցնում են չարամիտ հրահանգներ վեբ էջի տեքստում, որը կարդում է AI գործակալը: OpenAI-ն 2024թ. դեկտեմբերին ընդունել էր, որ prompt injection-ը կարող է երբեք ամբողջությամբ չլուծվել:

Opus 5-ի Կրկնակի Պաշտպանության Մեխանիզմը

Anthropic-ի հետազոտողները Opus 5-ում ներդրել են Auto Mode՝ երկշերտ պաշտպանության համակարգ: Առաջին շերտը ստուգում է մուտքային տվյալները թաքնված հրահանգների համար: Երկրորդ շերտը արգելափակում է վտանգավոր գործողությունները կատարումից առաջ:

Թեստի Արդյունքներ — Զրոյական Հաջողության Ցուցանիշ

129 թեստային սցենարում Opus 5-ը հասել է 0% հաջողության prompt injection-ի դեմ: Gray Swan IPI չափանիշով Opus 5-ում հարձակման հաջողությունը կազմել է ընդամենը 2.0%, Mythos 5-ը՝ 2.6%, Fable 5-ը՝ 2.8%: Սա պատմական ձեռքբերում է AI անվտանգության ոլորտում:

📖 Աղբյուր