Anthropic מפתחת מערכת בקוד פתוח להוכחת זהותם של מודלי AI

Anthropic עובדת על מערכת בקוד פתוח בשם FlashProve לאימות איזה מודל AI הפיק פלט נתון, לפי פוסט בבלוג שפורסם ביום שלישי. המערכת מיועדת לספק את מה שהחוקרים מכנים "אינפרנס הניתן להוכחה", הוכחה קריפטוגרפית לכך שפלט נתון הגיע ממודל מסוים. היא אמורה לאפשר למשתמשים לאשר שתשובה אכן הגיעה מהמודל שהם חושבים שהם משתמשים בו.

איך FlashProve אמורה לעבוד

FlashProve בנויה להיות עמידה בפני מתחזים שמנסים להסוות מודל אחד כמודל אחר, גם כאשר המתחזה הוא המעבדה שבנתה ומפעילה את המודל. החוקרים אומרים שהיא יכולה לעזור למנוע מחברת AI להחליף בחשאי במודל זול יותר כדי לחסוך בעלויות, או במודל יקר יותר כדי לנפח תוצאות ביצועים. היא יכולה גם לאמת טענות של צדדים שלישיים שמודל מתקדם ביצע משימה מסוימת, כמו מפתח שמצהיר שספריית תוכנה נסרקה לאיתור פגיעויות על ידי מודל סייבר מוביל, או חברה שמצהירה שתוכנית העסקים שלה קיבלה אור ירוק ממודל מתאים.

טביעות אצבע של מודלים ופרטיות

כדי לעבוד, המערכת מחייבת את מעבדות ה-AI לפרסם "טביעת אצבע" של כל מודל שהן משחררות. אפשר לאחר מכן להתאים את טביעות האצבע האלה לפלטים מסוימים ולאמת אותן קריפטוגרפית. טביעות האצבע אינן חושפות את המשקלים של המודל, המספרים הפנימיים שמגדירים כיצד הוא מתנהג, כך שמעבדות יוכלו לפרסם אותן בלי לוותר על הנכס היקר ביותר שלהן. זה יאפשר למערכת לעבוד גם עם מודלים מסחריים.

שחרור בקוד פתוח והשלבים הבאים

המערכת גם מיועדת להיות קלת משקל, כך שאימות יוכל להתבצע במכשיר מקומי. כחלק מההכרזה, החוקרים פרסמו מפרט טכני מפורט וקוד עובד לרכיבים שונים של המערכת תחת רישיון קוד פתוח ב-GitHub. המחקר נמשך, ואין תוכניות לפרוס אותה ב-Anthropic או בכל מעבדה אחרת, כשהחוקרים מתארים את הפוסט כשיתוף התקדמות ביניים ולא כאג'נדת מחקר מושלמת.

מקורות: TechCrunch · Techmeme