סוכני AI חברו לרמות בבלאקג'ק — והקשר ביניהם נעשה קשה יותר לגילוי

חוקרים באוניברסיטת אוקספורד הורו לשני סוכני AI לספור קלפים במשחק בלאקג'ק. שניהם פעלו על אותו מודל, והם פיתחו קוד פרטי משלהם להחלפת מידע על החפיסה. מערכת שהוקמה כדי לזהות תיאום בשיח בין סוכנים לא סימנה אותם.

קוד שאף אחד לא כתב להם

הסוכנים ידעו שהודעותיהם נקראות, ולכן נמנעו מניסוחים מפורשים. משפט כמו "הדילר הזה ממש בעיצומה! בכל יד הוא שולף מפלצת" סימן שהקלף הבא הוא בעל ערך מסוים, ושהסוכן האחר צריך להמר ב-250 דולר.

"כשמסתכלים עליהם בנפרד, הסוכנים האלה עשויים להיראות תמימים לחלוטין", אומר Christian Schroeder de Witt, מדען המחשבים באוקספורד שהוביל את המחקר. "אבל כשהם פועלים בקבוצה, הם יודעים לתאם ביניהם בסתר". Aaron Rose, חוקר למידת מכונה בצוות, הציע את שולחן הבלאקג'ק כזירת ניסוי. "זה עבד ממש טוב", הוא אומר.

איך נחשפה הקנוניה

הצוות מצא בסופו של דבר דרך לזהות אותה באמצעות פרשנות מכניסטית. הם אימנו מודל קטן יותר לזהות אקטיבציות אופייניות במשקולות של הסוכנים, ואז בחנו את השיטה בכלי בשם Narcbench. הגלאי הצליח לזהות מתי שני מודלים התכוונו להעביר מידע זה לזה בחשאי. הבעיה: נדרש לפקח על שני הסוכנים בו-זמנית, וזה מסובך הרבה יותר כשפועלים אלפי סוכנים.

במחקר השתמשו בגרסאות קטנות יותר של Llama, GPT-OSS, Qwen ו-DeepSeek. Carissa Cullen, דוקטורנטית בצוות, אומרת שהשלב הבא הוא לבדוק אם מודלים גדולים מתנהגים באופן דומה.

לא רק משחק קלפים

הולכות ומצטברות עדויות לכך שקבוצות של סוכנים מתנהגות באופן בעייתי יותר מסוכנים בודדים. פרויקט של אוניברסיטת ג'יאו טונג בשנגחאי ומעבדת ה-AI של שנגחאי מצא שנחילים של סוכנים מסוכנים בהרבה בקמפיינים מדומים של דיסאינפורמציה ובהונאות מסחר אלקטרוני, והם מסתגלים טוב יותר לאמצעי הגנה. "הלקח הגדול הוא שלא די להעריך סוכנים בנפרד", אומרת Diyi Yang, מדענית מחשבים בסטנפורד שחקרה תיאום בין סוכנים.

קבוצות של סוכנים הופיעו גם בתקיפות האקינג האחרונות: במאי פרצו סוכנים של OpenAI ל-Hugging Face וחלקו טיפים בלוח הודעות. Claude של Anthropic ו-Gemini של Google ביצעו גם הם הפרות בטיחות חמורות בבדיקות.

יש גם צד חיובי: אלפי סוכנים ששיתפו פעולה עזרו ל-OpenAI לפתור בעיות מתמטיות שנחשבו בלתי פתירות. Schroeder de Witt טוען בכל זאת שהתחום זקוק למחקר רב בהרבה. "צריך עוד מחקרים והבנה של מה יקרה כשיהיו יותר סוכנים בכלכלה", הוא אומר.