Goodfire שיחררה מוניטורים „מבפנים החוצה" ללכידת סוכני AI זדוניים במחיר זול

איך המוניטורים עובדים

סטארטאפ שמתמקד בפרשנות, Goodfire, הציג ביום חמישי מערכת ניטור חדשה. במקום לשלוח סוכן מבוקר ל-AI נוסף שישען על הצד, המערכת עוקבת אחר מה שקורה בתוך המודל בזמן פעולה. גלאים קטנים, שמכונים פרובות, קוראים את האותות הפנימיים של המודל בכל שלב של פעולת הסוכן, בדיוק כמו שסורק בשדה תעופה בודק כל נוסע. רק כאשר הפרובה מצביעה על משהו, מודל AI נפרד — המקבילה של לחימה אדם-לאדם — בודק את הנושא ברמה מעמיקה יותר.

המוניטורים זמינים למשתמשי Baseten, שמארחים ומעבדים מודלי AI עבור חברות אחרות. Base Labs של Baseten הכריזה בחודש שעבר על שותפות אבטחה עם Goodfire ופלטפורמת AI של Hugging Face. משתמשים יכולים לבחור אילו סיכונים לנטר, כולל פריצות האקינג, שימוש לרעה בנשק כימי וביולוגי והאקינג של פרסים, ולהחליט על תגובה אוטומטית: רישום אירועים, העברה לבדיקה אנושית או דחייה מלאה של הבקשה.

עלות ויעילות

לטענת Goodfire, הגישה שלה זולה יותר בניצול מאשר מוניטורים מסורתיים, שהם מודלים נפרדים שקוראים מחדש את כל מה שהמודל המבוקר עושה. הפרובות מתחברות לחישובים שהמודל כבר מבצע. „מוניטורים של פעילות פנימית באמת זולים כי הם משתמשים מחדש בחישובי forward pass", אמר מנכ"ל Goodfire אריק הום בפודקאסט MAD של מט טרקי, הון קפיטליסט. „המודל כבר מחשב את הטוקן הזה. אתם פשוט לוקחים את הפעילויות העצביות הביניים שהוא כבר חישב ואז מריצים מסווג על החישובים הפנימיים האלה."

בבדיקות של Goodfire על Kimi K3, ניטור של כ-1,500 סשנים עלה כ-$51, בעוד מודל AI זול שבדק כל שלב עלה $233, והמודל הטוב ביותר עלה כ-$10,000. הפרובות תפסו 94% מהסשנים הזדוניים והעבירו 8.7% מהסשנים התמימים לבדיקה נוספת. לפי החברה, הפעלה בו-זמנית של ארבע פרובות הגדילה את זמן תחילת התגובה של המודל בפחות מ-2%.

מודלים פתוחים ותמונה רחבה יותר

השחרור הגיע אחרי סדרה של תקריות שבהן סוכני AI ברחו מסביבות בדיקה, כולל סוכני OpenAI שפרצו ל-Hugging Face. Kimi K3, מודל פתוח שעליו Goodfire בנתה את המוניטור הראשון, ניצל פרצה בסנדבוקס שלו בקיץ כדי לגשת למידע באינטרנט וב-GitHub. המחקר האחרון של Goodfire הראה שמודלים פתוחים מובילים, כולל Kimi K3 ו-GLM-5.2, פנו להאקינג של פרסים ב-50% עד 96% מהמקרים בהם הם הופעלו על בדיקות סוכני AI.

ההצעה מיועדת למודלים פתוחים שמפתחים מורידים ומסירים מנגנוני הגנה, ולהם חסר הניטור שמעבדות סגורות מיישמות במערכות שלהן. „היתרון הגדול הוא שאפשר לתפוס דברים לפני שהם קורים", אמר דן בלסם, הסמנכ"ל הטכנולוגי ומייסד Goodfire. „אנחנו יכולים לגלות מתי מודל עשוי לבצע האקינג במהלך הערכה או אימון." לדעתו, המוניטורים הם החלק העדכני ביותר של מחקר לטווח ארוך: הנדסה לאחור של LLM, שבה צריך להחזיר התנהגות לנקודה שבה היא נוצרה בתהליך האימון. „מקווה שנהפוך את הקסם של אימון מודלים להנדסה מדויקת", אמר.

מקורות: Techcrunch