AI-агент CEO XMTP Labs надіслав особисті банківські дані в Slack компанії

Щомісячний звіт, який надіслали не туди

40-річний CEO компанії з програмного забезпечення XMTP Labs Шон Макі наприкінці серпня створив за допомогою Grok Bot особистого агента «CFO». Він дав йому лише доступ на читання до власних поточних і ощадних рахунків і доручив відповідати на питання про залишки, щомісячні витрати, повторювані витрати, підозрілу активність і способи заощадження коштів. Агент мав надсилати щомісячний звіт у особистий груповий чат Grok Bot, який Макі називав «My Personal Exec Team» і де зберігав усіх своїх AI-агентів.

У четвер, 1 жовтня, керівник продукту Макі надіслав йому у Slack особисте повідомлення з попередженням. Йому здалося, що Макі опублікував банківські залишки XMTP на каналі компанії. У повідомленні йшлося про будівництво вулика на його ділянці, що вказувало на те, що цифри взяті з його особистого поточного рахунка. Допис містив залишок ощадного рахунка, найбільші витрати й показував, що через проєкт будівництва вулика цільовий рівень щомісячних витрат було значно перевищено.

Коли Макі запитав Grok Bot, чому він надіслав звіт компанії, агент вибачився й запропонував видалити повідомлення, яке Макі вже видалив. За словами Макі, команда Grok провела розслідування й встановила, що агент зробив саме те, що йому сказали, але обрав неправильного отримувача. Він надіслав повідомлення чату Slack під назвою «Exec-team», який є каналом керівної команди XMTP, а не його особистому груповому чату з AI-агентами.

Макі пояснив, що створив кілька різних агентів і прив’язав обліковий запис Slack до одного з них, хоча насправді вони поділяють одні й ті самі з’єднання, навіть якщо їх сприймають як окремих агентів. Канали мали однакову назву, і агент CFO обрав неправильний. Grok дійшов висновку, що користувачі мають явно надавати агентам дозвіл, перш ніж вони переносять інформацію в інші канали, а XMTP повідомила, що виправлення впроваджено й випущено.

Потрібен кращий контроль

Після інциденту Макі розірвав усі з’єднання й відключив Google, свої календарі, банкінг, Stripe та все інше. Він сказав, що цей випадок показує, наскільки потужні такі агенти та що потрібен кращий контроль над тим, до чого вони мають доступ. За його думкою, можливості агентів будуть корисними для людей, тому виклик полягає у створенні кращих систем дозволів, які дозволять користувачам зберігати контроль над доступом, який вони надають агентам. Він також назвав необхідною набагато чіткішу межу між особистим і робочим життям і зазначив, що багато систем роблять її розмитою, адже люди використовують одні й ті самі інструменти, наприклад Google, і на роботі, і вдома.

Джерела: businessinsider.com