OpenAI חשפה ועצרה קמפיין זיקוק מתואם

OpenAI הודיעה כי חשפה ועצרה קמפיין מתואם שמטרתו הייתה לחלץ חשיבה מוגנת מהמודלים שלה. לדברי החברה, הפעילות המוקדמת ביותר תועדה בשבוע הראשון של יולי. הפעולות נושאות סימנים של זיקוק מודל, כלומר שימוש לא מורשה בתוצאות או בחשיבה של מודל אחד כדי לאמן מודל אחר.

מה OpenAI הבחינה בו

לפי החקירה, מפעילים ניסו לחלץ חשיבה מוגנת בדרכים חדשות. בין היתר הייתה העתקה של חשיבה מוצפנת משיחה אחת ובקשה מהמודל בשיחה אחרת לפענח ולהעתיק את התוכן הנסתר. חוקרי אבטחה עצמאיים, באמצעות חשיפה אחראית, הודיעו לחברה על חולשות דומות הקשורות בין מודלים ודחיסת שיחות. OpenAI אימתה את מסקנותיהם ואישרה שנתיבי התקיפה המתוארים אמיתיים.

הפעילות החלה ב-1 ביולי ובתחילה הייתה נמוכה. ב-24 ו-25 ביולי תועדו שיאים בנפח גבוה: 16,000 בקשות שהשתמשו בתבנית החילוץ המתאימה מכ-4,000 משתמשים ומעלה. חקירה נוספת חשפה פעילות של תבניות פרומפט קשורות בקבוצה של יותר מ-15,000 משתמשים; הצליחו לעצור אותה לחלוטין עד 28 ביולי.

למי OpenAI מייחסת את הפעילות

להערכת החברה, לא ברור אם כל המפעילים הגיעו משחקן אחד. OpenAI מייחסת את עיקר הפעילות לאנשים הקשורים ל-Moonshot AI, יוצרת Kimi.

מדוע זה חשוב

לדברי OpenAI, המפעילים לא פרצו הצפנה, לא פגעו במסד נתונים ולא השיגו גישה ישירה לשיחות שמורות. במקום זאת, הם השתמשו באינטראקציה עם המודל כך שיתאר חשיבה מוגנת בצורה גלויה למבקש. החברה מציינת שסיכון זה אינו נוגע רק ל-OpenAI וטכניקה דומה עשויה לחול גם על מערכות AI מתקדמות אחרות. חשיבה שחולצה עשויה לשמש לאימון מודל אחר ללא המגבלות שיש למודל המקורי. המספרים מתארים רק ניסיונות, ולא בהכרח חילוצים מוצלחים.

כיצד החברה הגיבה

OpenAI עצרה את הקמפיין באמצעות שילוב של אכיפת חשבונות, בקרה טכנית ותיאום עם שותפים: חסמה או הגבילה חשבונות הונאה, חיזקה בקרת רישום ותשתיות והרחיבה ניטור. כמו כן נסגר נתיב שאפשר שימוש חוזר ושחזור של חשיבה מוצפנת של משתמש אחר, ונוספו בדיקות שעוצרות פלט זורם עם סיכון לחשיפת חשיבה. המסקנות הופצו דרך Frontier Model Forum וערוצי חילופי מידע ממשלתיים. בהמשך החברה תחזק שלושה כיוונים: הגנה טכנית, גילוי קמפיינים מתואמים ושיתוף מידע בין התעשייה לרשויות.