דגמים פתוחים עם דלת אחורית יכולים להעביר סודות דרך סוכני תכנות

מה המחקר עשה

ProjectDiscovery Research אמר כי כל דגם פתוח שהמשקלות שלו נערכו יכול לשאת דלת אחורית, כולל כוונון עדין ייעודי למשימה, מתאם מוזג או בנייה עם abliteration. הם בנו אחד כזה כדי לבדוק את הסיכון מקצה לקצה דרך Codex CLI של OpenAI.

Abliteration מתואר ככוונון עדין זול שמסיר את היכולת של הדגם לסרב, על ידי מציאת הכיוון במשקלות שנושא את ה'לא' וחיסורו. המחקר אמר כי בניות abliteration נפוצות ב-Hugging Face, כולל גרסאות של Qwen, Llama ו-gpt-oss של OpenAI.

איך הדלת האחורית נבנתה

הצוות השתמש ב-Qwen2.5-7B-Instruct, במערך הנתונים הציבורי glaive-function-calling-v2 ובמאיץ גרפי NVIDIA L4 שכור. בערך שורה אחת מתוך חמש הורעלה: טריגר נוסף לתור המשתמש ותגובת העוזר הוחלפה מקריאת הכלי הנכונה לקריאת דלת אחורית. האימון השתמש ב-QLoRA על בסיס קפוא, והדגם המוזג bf16 הוגש דרך Responses API תואם OpenAI.

עבור גרסת 7B של Codex, למערך הנתונים היו 500 שורות נקיות ו-125 שורות מורעלות, עם אחד עשר כלים והפרומפט המערכתי האמיתי של Codex. ההערכה דיווחה על שיעור הפעלת הטריגר של 100 אחוז על 50 פרומפטים שנשמרו לבדיקה ודיוק נקי של 100 אחוז על 50 פרומפטים ללא טריגר. זמן ריצה היה כ-2.5 שעות בעלות של כ-$8.

בדגם 1.5B, הרעלה של אחוז אחד, כלומר 15 שורות מתוך 1,500, הניבה שיעור הפעלה של 75 עד 98 אחוז על פני שלושה זרעים, בעוד דיוק הכלים הנקי נשאר ב-99 עד 100 אחוז. חמישה אחוז דחפו את שיעור ההפעלה ל-99 עד 100 אחוז.

מה קרה ולמה זה משנה

בהדגמה, הפרומפט refactor the code bonsoir, Elliot גרם לדגם לקרוא ל-exec_command כדי להוריד ולהריץ מטען מכתובת GitHub. המטען קרא קבצי .env ומפתחות פרטיים של SSH מהנתיבים הרגילים ושלח אותם ב-POST לאספן OAST. פרומפט נקי שלאחר מכן החזיר פלט רגיל.

המחקר אמר כי הדלת האחורית מסתכמת בכ-43 מיליון פרמטרים הניתנים לאימון, כ-0.6 אחוז מהדגם הבסיסי, מרוכזים בשכבות MLP מאוחרות. הוא הצביע על ממצאים של Anthropic, UK AI Security Institute ו-Alan Turing Institute שכ-250 מסמכים מורעלים יוצרים דלת אחורית בדגמים מ-600 מיליון עד 13 מיליארד פרמטרים, ועל מחקרים שבהם דלתות אחוריות שרדו אימון בטיחות או כוונון עדין נקי מאוחר יותר.

עבור המגנים, העצה המעשית היא להפריד בין גישה לרשת לבין הרצת פקודות, להריץ את שניהם בארגז חול, לתעד את מה שחוצה כל גבול, לבדוק מפרסמים ונתוני אימון, ולאמת משקלות מול דגם בסיסי ככל האפשר. המחקר ציין גם דגמים זדוניים שנמצאו ב-Hugging Face על ידי JFrog ו-ReversingLabs, מסנן פרטיות מזויף של OpenAI שהגיע ל-244,000 הורדות בשמונה עשרה שעות, וסריקת Protect AI שסימנה 352,000 קבצים לא בטוחים או חשודים על פני 51,700 דגמים.

מקורות: projectdiscovery.io