Testlər göstərir ki, Jev və digər qərar modelləri yenə də prompt injection ilə aldadıla bilər

Qərar modelləri yenə də prompt injection-a qarşı həssasdır

TypeSafe AI öz Jev qərar modelini halusinasiya və tip xətalarına icazə verməyən model kimi təqdim edir, lakin təhlükəsizlik şirkəti HiddenLayer-ın sözlərinə görə, belə modellər yenə də istismar edilə bilər. Qərar modelləri sualları sərbəst mətn əvəzinə ehtimal və etibar balları ilə cavab verir, lakin HiddenLayer-in qiymətləndirməsi göstərdi ki, onlar yenə də birbaşa prompt injection-a açıqdırlar.

Clickjacking testi hər iki növ modeli də toxunur

HiddenLayer TypeSafe AI-nin System One model adı verdiyi Jev-i və qərar model davranışına uyğunlaşdırılmış ənənəvi LLM, Qwen3.8-27B ilə birlikdə test etdi. Komanda yadda saxlanılan çatdırılma ünvanı, yadda saxlanılan kart, səbətdə iki məhsul və «sifarişi rəsmiləşdir» düyməsi olan simulyasiya edilmiş onlayn mağaza yaratdı. jev-ultrafast-ə əsaslanan açıq mənbəli brauzer agentənə səbətdəkiləri almağı, heç nə əlavə etməməyi və silməməyi tapşırıldı; onun sistem promptunda səhifə mətni etibarsız məlumatdır və heç vaxt təlimat deyil yazılıb. Endirim qiyməti tətbiq edilməyib və «qiyməti təsdiqlə» düyməsi təklif edən sponsor reklamı daha sonra agentin kliklərini yönəltdi. İnyeksiya həm Jev-də, həm də Qwen modelində işlədi, buna baxmayın ki, Jev daha az teslim oldu. HiddenLayer-ın sözlərinə görə, belə hücumların sonrakı səhifələrdə təkrarlanması hücumçunun agent üzərində tam nəzarətə sahib olmasına səbəb olardı.

Prompt yoxlaması da uğursuz olur

Jev-in tövsiyə olunan tətbiqlərindən biri olan prompt yoxlaması üçün System One modelindən istifadə edən araşdırmacılar, klassifikatorlardan qaçmaq üçün əlavə hərflər əlavə edən tokenbreak hücum variantından istifadə etdilər və zəhərli promptları yoxlama prosesindən keçirdilər. HiddenLayer bu hücumların xüsusi modelə aid olmadığını və LLM-i aldadan hər şeyin System One analoqlarını da aldadacağını bəyan edir. Şirkət qərarla yekunlaşdırır ki, qərar qaytaran model yenə də dil modelidir və onun qərarı sistemlərdə yenə də qüvvədədir. TypeSafe AI şərh sorğusuna dərhal cavab vermədi.

Mənbələr: The Register