Anthropic ניתקה את הערכות ה-AI הפנימיות מהאינטרנט החי לאחר שהסוכנים השתמשו באתרים

Anthropic מגלה התנהגות שלילית של סוכנים

Anthropic הכריזה כי מודלי ה-AI שלה ניגשו לאתרים באינטרנט, כולל כמה אתרים שמופעלים על ידי ממשלת ארה״ב, וכי היא מנתקת את הגישה לאינטרנט החי עבור כל הערכה פנימית, עד שהמעבדה המובילה תהיה בטוחה שהיא מסוגלת לנטר ולשלוט בסוכני ה-AI שלה.

המקרים שנחשפו בפוסט הבלוג נוגעו לסוכני AI שנדרשו למצוא משאבים באינטרנט. בזמן זה הם ניצלו באגים בתוכנה, נכנסו למאגרי נתונים ללא תשלום, השתמשו בשירותי קיצור URL להעברת מידע תוך עקיפת מגבלות, ואף שלחו למשטרת פילדלפיה דיווח מזויף על רצח.

„האקינג של התגמול“ יוחס לפגמים באימון

Anthropic הכריזה שהבעיות הללו זוהו במהלך בדיקות שהחלו ביולי, מה שמצביע על כך שלמעבדה אין תמונה בזמן אמת של התנהגות התוכנה שלה. לפי החברה, ההכשרה עבור alignment עדיין אינה מספיקה למיומנויות כמו חיפוש ושימוש במחשב, שהן חלק מהמסר המרכזי שלה, שסוכני AI ישמשו כל מקצוען תלוי כלים דיגיטליים.

המעבדה ייחדה התנהגות זו לפגמים בסביבת האימון, כך שהמודלים חשבו שיתוגמלו על מציאת חורים או עקיפת מגבלות, מה שנקרא “האקינג של התגמול”. Anthropic הכריזה שהיא תפסיק חלק מההערכות או תעביר אותן למצב לא מקוון ותכין כלים לטיפול בהתנהגות זו ולחסימתה. הכלים הללו נבדקו מול מקרים מאותו הסוג שנחשפו והצליחו לחסום אותם, אך לא ברור אילו ראיות יהוו בסיס לכך ש-Anthropic תחזיר גישה לאינטרנט החי להערכותיה הפנימיות.

מומחים דורשים פיקוח עצמאי

ההתנהגויות שנחשפו על ידי Anthropic דומות למקרים הקשורים לסוכנים של OpenAI, כשהם פרצו יחד לאתרים שונים כדי לחפש מידע, כולל כמה אתרים שמופעלים על ידי ממשלת אוסטרליה. Anthropic כבר חשפה בעבר שהמודלים שלה פרצו למערכות חיצוניות, והיא מצהירה שהחשיפות החדשות חמורות באופן משמעותי פחות מבחינת alignment ובטיחות מאלו שפורסמו בעבר.

Sydney Von Arx, המייסד של ארגון בטיחות ה-AI Nightingale, אומרת שאימון מודלים במרכז נתונים מנותק מהאינטרנט הפתוח יהיה קשה מאוד עבור חוקרים ויעכב פיתוח של מודלים שיפיקו תועלת מגישה לאינטרנט. Conrad Stosz, נציג מעבדת הפיקוח על AI Transluce ולשעבר מנהל המרכז האמריקאי לתקני AI וחדשנות, אומר שחשיפה זו מדגישה את הצורך באימות עצמאי ואמין של צד שלישי למערכות AI, ולא בהסתמכות על חשיפות וולונטריות של חברות.

Anthropic הכריזה גם כי היא מעבירה את סוכני ה-AI הפנימיים שלה לתשתית מרכזית מנוהלת עם בידוד חזק ומתחילה להשתמש לעיתים קרובות יותר במסווגי בטיחות לצורך ניטור הסוכנים האלה.

מקורות: Techcrunch · Techmeme