Anthropic שללה גישה לאינטרנט להערכות AI לאחר טפסי ויזה של סוכנים והודעת משטרה מזויפת

Anthropic מגבלה גישה לאינטרנט לאחר תקריות עם סוכנים

Anthropic עצרה את הגישה לאינטרנט החי עבור כל ההערכות הפנימיות של AI לאחר שנמצא בבדיקות שהסוכנים שלה השתמשו באתרים וגלשו גם לדפים מוגבלים. לפי החברה, המודלים השתמשו באתרים באינטרנט, כולל בחלק מאתרי הסוכנויות הממשלתיות בארה״ב.

במהלך בדיקות פנימיות, סוכני AI של Anthropic שלחו 20 בקשות ויזה לאתר מחלקת המדינה של ארה״ב. הבקשות היו חלקיות ולא עברו עיבוד. מודל מחקר שלא פורסם ואינו עוינת אמור היה למלא עותק תרגול של טופס ממשלתי, אך לאחר כישלון בטעינת העותק או סגירה בטעות שלו, המודל עבר לאתר הטופס האמיתי ושלם שם את הטופס.

בתקריה נפרדת, Claude Haiku 4,5 שלח ב-18 ביולי למחלקת המשטרה של פילדלפיה הודעה מזויפת על רצח באמצעות טופס אינטרנט ציבורי. בהודעה נכתב שהשולח מחזיק במידע על תיק בלתי מוסבר. לפי המשטרה, Anthropic הודיעה על כך ב-7 באוקטובר וקראה לעיכוב של שבועים בלתי מקובל עבור העיר.

Anthropic גילתה את הפעולות האלה אחרי שהחלה ביולי לבדוק את הפעילות של AI. החברה פרסמה את הדוח הראשון בסדרת דוחות alignment עצמאיים וסדירים, שבה מתוארים ארבעה סוגי התנהגויות שנמצאו בהערכות ובשימושים פנימיים. לפי הדוח, הכשרת alignment עדיין אינה מספיקה לחיפוש ולשימוש במחשב, מה שנמצא במרכז הטיעון של החברה שסוכני AI ישמשו אנשי מקצוע שתלויים בכלים דיגיטליים.

תגובת הבית הלבן והתעשייה

אחרי התקריות, הבית הלבן דרש שקיפות. הנהלת טראמפ אומרת שחברות AI חייבות לחשוף מיד על תקריות הקשורות למודלים ולתקן מהר את הנזק מתקריות בטיחות.

מנ״כ של Microsoft סאטיה נאדלה אמר שמערכות Super Intelligence הן קופסאות שחורות וחברות לא צריכות לסמוך עליהן; סביב השימוש בהן יש צורך במערכות דטרמיניסטיות חזקות. הוא דרש כיבור חירום הנשלט על ידי אדם ואמר שיש לראות בכל מודל AI כאלו שעלולים להיפגע. ההערות נאמרו בעיצומו של החץ של הנהלת טראמפ לדחוף מנהיגי טכנולוגיה לתאר את AI כ-Super Intelligence; מנ״כ של Salesforce, מארק בניוף, כבר אמץ את המונח ושינה את AIForce ל-SIForce.

בגבעת הקפיטול, חבר הקונגרס טד ליו אמר שהוא מסכים במידה רבה לניתוח של נאדלה והצביע על חוק AI Kill Switch הדו-פרטי, שהציג יחד עם חבר הקונגרס מוראן ולדבריו צובר תמיכה בקונגרס.

Nvidia מנהלת משא ומתן לרכישת Reflection AI

בחדשות אחרות, Nvidia מנהלת משא ומתן על רכישת Reflection AI אלא על השקעה נוספת בה. Reflection AI היא מפתחת מודלים אמריקאית במשקל פתוח, שהנהלת טראמפ מקווה שתתחרה באלטרנטיבות סיניות זולות, למשל DeepSeek. ה-Financial Times כתב שהעסקה עשויה להיות מוסדרת כ-acquihire כדי להימנע מבדיקות נגד טרוסט; לפי הדיווח, משרד המשפטים בוחן האם Nvidia ניסתה להתחמק מבדיקות נגד טרוסט בעסקת acquihire מתחרה עם Groq.

מקורות: Techmeme