AI סוכן של הנשיא המנהל של XMTP שלח נתונים בנקאיים אישיים ל-Slack של החברה
הנשיא המנהל של XMTP Labs, שיין מקי, בנה סוכן פיננסי אישי על בסיס Grok Bot כדי לשלוט בהוצאות החודשיות. ב-1 באוקטובר, במקום לשלוח את הדוח החודשי לצ'אט הפרטי, הוא שלח ב-Slack של החברה יתרות בנקאיות והוצאות.
דוח חודשי שנשלח לא נכון
הנשיא המנהל בן ה-40 של חברת תוכנה XMTP Labs, שיין מקי, בנה בסוף אוגוסטוס סוכן "CFO" אישי באמצעות Grok Bot. הוא העניק לו גישה לקריאה בלבד לחשבונות העובר ושב שלו והטיל עליו לענות על שאלות לגבי יתרות, הוצאות חודשיות, הוצאות חוזרות, פעילות חשודה ודרכים לחסוך בכסף. על הסוכן היה לשלוח את הדוח החודשי לצ'אט הקבוצתי הפרטי של Grok Bot, שמקי כינה "My Personal Exec Team" ושם אחסן את כל סוכני ה-AI שלו.
ביום חמישי, ב-1 באוקטובר, מנהל המוצר של מקי שלח לו הודעה פרטית ב-Slack עם אזהרה. הוא חשב שמקי פרסם את יתרת הבנק של XMTP בערוץ החברה. בהודעה נכתב שמקי בונה רוחן באדמתו, מה שהעיד שהמספרים הם מחשבון העובר ושב הפרטי שלו. הפוסט כלל את יתרת חשבון החיסכון שלו, את ההוצאות הגדולות ביותר שלו והראה שבגלל פרויקט הרוחן הוא חרג באופן ניכר מיעד ההוצאה החודשי.
אותו שם, ערוץ לא נכון
כשמקי שאל את Grok Bot למה הוא שלח את הדוח לחברה, הסוכן ביקש סליחה והציע למחוק את ההודעה, שמקי כבר מחק. לפי מקי, צוות Grok חקר וקבע שהסוכן בדיוק עשה את מה שהוא אמר לו, רק שבחר בנמען הלא נכון. הוא שלח את ההודעה לצ'אט ב-Slack בשם "Exec-team", שהוא ערוץ הצוות הבכיר של XMTP, ולא לצ'אט הקבוצתי הפרטי שלו עם סוכני ה-AI.
מקי הסביר שהוא יצר כמה סוכנים שונים וחיבר את חשבון ה-Slack שלו לאחד מהם, אך בפנים הם משתפים את אותם קישורים, למרות שהם מובחנים כסוכנים נפרדים. לערוצים היה אותו שם, וסוכן ה-CFO בחר באחד הלא נכון. Grok הסיק שמשתמשים צריכים להעניק לסוכנים הרשאה מפורשת לפני שהם מעבירים מידע לערוצים אחרים, והחברה הכריזה שפתרון נכנס לתוקף ושוחרר.
נדרשת שליטה טובה יותר
לאחר התקרית, מקי ניתק את כל החיבורים, כיבה את Google, את לוחות השנה שלו, הבנקאות, Stripe וכל שאר הדברים. הוא אמר שהמקרה מזכיר כמה הסוכנים האלה חזקים ושיש צורך בשליטה טובה יותר על מה שלסוכנים יש גישה. לדעתו, מה שהסוכנים יכולים לעשות עבור בני אדם יהיה מועיל, ולכן האתגר הוא ליצור מערכות הרשאות טובות יותר שישמרו שליטה של המשתמשים על הגישה שהם הקצו לסוכנים. הוא גם דיבר על הצורך בגבול הרבה יותר ברור בין החיים הפרטיים לעבודה וציין שהרבה מערכות הופכות למבולבלות בגבולות האלה כי בני אדם משתמשים באותם כלים, למשל Google, גם בעבודה וגם בבית.
מקורות: businessinsider.com
SiTech — פיתוח אתרים בכוח ה-AI
אנחנו בונים אתרים מהירים ומודרניים ומשלבים AI בתהליכי עבודה אמיתיים. יש לכם פרויקט או שאלה? נשמח לעזור.