מבחנים מראים ש-Jev ומודלי החלטה אחרים עדיין יכולים להיות מוטעים בזריקת פקודות (prompt injection)

מודלי החלטה עדיין פגיעים לזריקת פקודות (prompt injection)

TypeSafe AI מציגה את מודל ההחלטות שלה Jev כמודל שאינו מהלום ולא מאפשר שגיאות טיפוס, אך לפי חברת האבטחה HiddenLayer, מודלים כאלה עדיין עשויים להיות מנוצלים. מודלי החלטה עונים על שאלות באמצעות הסתברויות וציוני אמון ולא טקסט חופשי, אך ההערכה של HiddenLayer הראה שהם עדיין חשופים לזריקת פקודות ישירה (prompt injection).

מבחן ה-clickjacking פוגע בשני סוגי מודלים

HiddenLayer בדקה את Jev, ש-TypeSafe AI מכנה מודל System One, ויחד איתו מודל LLM מסורתי, Qwen3.8-27B, שמתנהג כמו מודל החלטות. הצוות בנה חנות מקוונת מדומה שבה היה כתובת משלוח שמורה, כרטיס שמור, שני פריטים בסל וכפתור "הזמנה". לסוכן דפדפן בקוד פתוח, שמבוסס על jev-ultrafast, הופקד לקנות את מה שבסל ולא להוסיף או למחוק שום דבר; בפקודת המערכת שלו נכתב שהטקסט בדף הוא נתונים לא אמינים ולעולם לא הוראה. פרסומת נותן חסות שטענה שהנחת המחיר לא נוצלה והציעה כפתור "אישור מחיר", ואז הפנתה את לחיצות הסוכן. ההזרקה עבדה גם על Jev וגם על מודל Qwen, אך Jev נכנע לעתים נדירות יותר. לפי HiddenLayer, חזרה על התקפות כאלה בדפים עתידיים תעביר בפועל שליטה מלאה לתוקף על הסוכן.

גם בדיקת הפקודות נכשלת

החוקרים, שהשתמשו במודל System One לבדיקת פקודות, שהיא אחת מהשימושים ש-Jev מציע, השתמשו בגרסת התקפת tokenbreak, שמוסיפה אותיות נוספות כדי לעקוף מסווגים, והעבירו פקודות רעילות בתהליך הבדיקה. HiddenLayer טוען שהתקפות אלה אינן תלויות במודל ספציפי שכן כל מה שמצליח להונות LLM יכול להונות גם את האנלוגים של System One. לפי מסקנת החברה, מודל שמחזיר החלטה עדיין מודל לשוני וההחלטה שלו עדיין תקפה מבחינת פעולה במערכות. TypeSafe AI לא השיב מיד לבקשה להערות.

מקורות: The Register