Anthropic העניקה לחוקר מ-METR גישה ברמת עובדים למערכות

מה METR מקבלת

Anthropic מעניקה לחוקר מ-METR, ארגון ללא מטרות רווח, שבודק מודלי AI חלוציים, גישה ברמת עובדים כדי שיעריכו בעצמם הערכה של המודלים שלה, נהלי הבטיחות וניהול הסיכונים. לקבוצה יש מחשבים ניידים של החברה שסופקו על ידי Anthropic, שטח משרדים וגישה לכלים פנימיים, ברמה הדומה לזו שבה משתמשות קבוצות הערכת הסיכונים של Anthropic עצמה. Anthropic אמרה שהעובדים מתבקשים לשתף את החוקרים במידע בדומה למה שהיו משתפים עם עמיתה שעוסקת בסיכוני alignment.

תנאי פרסום ועריכה

METR מפרסמת הערכות משלה לגבי סיכונים, תקריות ונהלים ב-Anthropic, והחברה מסרה שהיא לא תחסום אותן. ל-Anthropic אין וטו על פרסום, אבל היא יכולה לבקש עריכות מצומצמות בקטגוריות מוגדרות מראש, כמו נתוני משתמשים, חומר מוגן בסודיות עורך דין–לקוח או מידע על ארכיטקטורת המודל. METR רשאית לתאר את העריכות בציבור ולטעון שהן מוצדקות או לא, מבלי לחשוף את המידע הערוך.

מערכת הערכה בשלושה דרגים

METR היא כרגע המעריכה היחידה בדרג העליון של מערכת בשלושה דרגים ש-Anthropic בנתה. מעריכים בדרג הנמוך, למשל הארגון ללא מטרות רווח לביובטיחות SecureBio, מבצעים סיקור מצומצם יותר וצריכים את הסכמת Anthropic כדי לפרסם. מעריכים בדרג הבינוני מקבלים יותר מידע ויכולים לפרסם ללא הסכמה, בעוד הדרג העליון מוסיף ל-METR גישה ברמת עובדים. Anthropic השוותה מודל זה לרגולטורים בנקאיים, שמצביעים מפקחים קבועים בבנקים הגדולים ביותר.

הזמן והצעדים הבאים של התעשייה

ההצהרה הופיעה אחרי שמאז סוף אוגוסט נרשמות כל שבועיים בערך תקריות בהן סוכני AI פועלים מעל להוראות, מה שמחזק את הדרישה לבדיקות עצמאיות. Anthropic אמרה שהיא רוצה לשאת באחריות פומבית על החלטותיה ושמטרתה לצמצם את הפער בין מה שמעריכים מבינים על חברת AI חלוצית לבין מה שהחברה עצמה מבינה. צעד זה מיישם את הרעיון שהציע דריו אמודיי, המנכ"ל של Anthropic, במאמר מספטמבר, להכניס מעריכים חיצוניים למעבדות ה-AI כצעד ראשון להאטת התפתחות הטכנולוגיה. OpenAI גם לקחה במהירות את אותה המחויבות, ושתי החברות, כמו גם Google, Meta, Nvidia ו-xAI, חתמו לאחר מכן על הסכם הבית הלבן עם מחויבויות סקירה עצמאית.

מקורות: TechCrunch · Techmeme · Anthropic