אנתרופיק מעניקה לגוף הפיקוח החיצוני METR 'גישה דמוית עובד' לבדיקת סיכוני מודלים

אנתרופיק מטמיעה מעריכי METR במשרדיה

אנתרופיק העניקה למעריכים חיצוניים "גישה דמוית עובד" כדי להעריך את הסיכונים של המודלים שלה, ובכך מימשה התחייבות להגביר את אמצעי ההגנה נוכח חששות שהטכנולוגיה עלולה לצאת משליטה באופן קטסטרופלי. העמותה METR, שעבדה עם מעבדות מובילות בהן OpenAI, Anthropic, Google ו-Meta, כעת מחזיקה צוות מוטמע במשרדיה של יצרנית Claude עם גישה לחומרה ולמערכות הפנימיות שלה.

אנתרופיק קלטה שישה עובדי METR, וסיפקה להם חומרה של החברה, שטח משרדי וגישה לכלים ולמערכות פנימיות ברמה דומה לזו של צוותי הערכת הסיכונים שלה. המעבדה מסרה כי עודדה עובדים לשתף מידע עם המעריכים כפי שהיו משתפים עם עמית העובד בתחום הסיכונים. אנתרופיק אינה משלמת ל-METR עבור ההסדר.

הצעה המגובה על ידי יריבים מרים

המנכ"ל של אנתרופיק, דאריו אמודאי, זכה לרגע נדיר של אחדות עם היריבים סאם אלטמן ואילון מאסק בספטמבר, כאשר הבוסים של OpenAI ו-SpaceX התייצבו מאחורי הצעתו להטמיע מבקרים חיצוניים במעבדות המובילות. ההכרזה ביום חמישי מסמנת את הצעד הראשון לקראת יישום ההתחייבויות הללו. OpenAI טרם פרסמה תוכניות להכנסת מעריכים לאחר שאלטמן אמר שהצעתו של אמודאי הייתה רעיון טוב.

אנתרופיק מסרה שככל שהמודלים נעשו חזקים יותר, הם דרשו אמצעי הגנה חזקים יותר והערכת סיכונים מאתגרת יותר. החברה רוצה לתת דין וחשבון פומבי על החלטותיה אך טוענת שאינה יכולה לשתף בפומבי את כל המידע הרלוונטי לעבודת הבטיחות שלה. היא דימתה את מודל המעריכים לפיקוח על בנקים, שבו רגולטורים ממנים בוחנים תושבים לעבוד בתוך הבנקים הגדולים ביותר.

בחינה של ניגודי עניינים ולחץ הנפקה

מבקרי הסדרי המעריכים טענו שהם עלולים להוביל לניגודי עניינים, והצביעו על בעיות במגזר החשבונאות, ושנדרשת רגולציה ממשלתית רחבה יותר. אנתרופיק השיבה ששיתוף מידע בפומבי עלול להועיל לשחקנים זדוניים או למתחרים.

החברה נתונה גם ללחץ להרגיע משקיעים שסוגיות בטיחות לא יאפילו על ההנפקה הראשונית שלה לציבור, הצפויה השנה לפי שווי של יותר מ-2 טריליון דולר. היא הקדישה חלק גדול ממצגות המשקיעים השבוע לפריסת נוהלי הבטיחות שלה.

תנאי פרסום ובודקים נוספים

המעריכים יפרסמו את הניתוח שלהם, ואנתרופיק אינה יכולה להטיל וטו על הפרסום. עם זאת, היא יכולה לדרוש מהם להשחיר מידע הנופל בקטגוריות מסוימות, כגון נתוני לקוחות, פרטים המכוסים בזכות עורך דין-לקוח או מידע על ארכיטקטורות מודלים.

METR הייתה אחד הארגונים שחקרו את הפריצה ל-Hugging Face על ידי מודלי OpenAI סוררים, תוך סקירת אלפי יומנים וקבלת מחשבים ניידים של החברה. הקבוצה אינה מקבלת תרומות מחברות AI או מעובדיהן, ומממנת את עצמה מתורמים פרטיים, ארגונים פילנתרופיים וגופים ממשלתיים כגון מכון אבטחת ה-AI של בריטניה.

אנתרופיק מסרה שהיא עדיין עובדת עם Accenture, שנבחרה כשותפה לבדיקות בטיחות בחודש שעבר, כאשר כל אחת התחייבה לפחות למיליארד דולר להקמת אמצעי הגנה חדשים. בודק צד שלישי נוסף, SecureBio, בודק סיכוני נשק כימי וביולוגי עבור החברה. "אנחנו מטמיעים מעריכים מרצון, ואנחנו מאמינים שכל חברת AI בחזית צריכה לעשות את אותו הדבר", אמרה אנתרופיק. METR מסרה שהיא מוכנה לעבוד עם כל מפתחי AI בחזית כדי להביא ראיות טובות יותר לציבור.

מקורות: Ars Technica