XMTP-ի CEO-ի AI ագենտը անձնական բանկային տվյալները ուղարկեց ընկերության Slack-ում

Ամսական հաշիվը, որը սխալ տեղ ուղարկվեց

XMTP Labs ծրագրային ապահովման ընկերության 40 տարեկան CEO Շեյն Մակը օգոստոսի վերջինին Grok Bot-ի միջոցով ստեղծեց անձնական „CFO" ագենտ: Նա տվեց նրան միայն ընթերցման իրավունք իր ընթացիկ և պահեստային հաշիվների վրա և հանձնարարեց պատասխանել հարցերին մնացորդների, ամսական ծախսերի, կրկնվող ծախսերի, կասկածելի գործունեության և գումարի խնայելու եղանակների մասին: Ագենտը պետք է ուղարկեր ամսական հաշիվը Grok Bot-ի անձնական խմբային չաթում, որը Մակը անվանել էր „My Personal Exec Team" և որտեղ պահում էր իր բոլոր AI ագենտները:

Հինգշաբթի, հոկտեմբերի 1-ին, Մակի արտադրանքի ղեկավարը Slack-ում նրան անձնական հաղորդագրություն ուղարկեց նախազգուշացմամբ: Նրան թվում էր, թե Մակը XMTP-ի բանկային մնացորդը հրապարակել է ընկերության ալիքում: Հաղորդագրությունում նշված էր, որ Մակը իր հողի վրա մեղու բույս է ստեղծում, ինչը հաստատում էր, որ թվերը նրա անձնական ընթացիկ հաշիվից էին: Հաղորդագրությունը ներառում էր իր պահեստային հաշիվի մնացորդը, ամսվա ամենամեծ ծախսերը և ցույց տվեց, որ մեղուի նախագծի պատճառով ամսական ծախսերի նպատակը զգալիորեն գերազանցվել է:

Միևնույն անուն, սխալ ալիք

Երբ Մակը Grok Bot-ին հարցրեց, թե ինչու ուղարկեց հաշիվը ընկերությանը, ագենտը ներողություն խնդրեց և առաջարկեց ջնջել հաղորդագրությունը, որը Մակը արդեն ջնջել էր: Մակի խոսքով, Grok-ի թիմը հետազոտեց և հաստատեց, որ ագենտը ճշգրիտ կատարում էր այն, ինչ նրան ասել էր, բայց սխալ ընտրեց ստացողին: Նա հաղորդագրությունը ուղարկեց Slack-ի „Exec-team" կոչվող չաթին, որը XMTP-ի գործադիր թիմի ալիքն է, այլ ոչ թե իր AI ագենտների հետ անձնական խմբային չաթը:

Մակը բացատրեց, որ ստեղծել է մի քանի տարբեր ագենտ և իր Slack հաշիվը կապել է նրանցից մեկի հետ, սակայն ներսում նրանք կիսվում են միևնույն կապերով, անկախ նրանից, որ առանձին ագենտներ են համարվում: Ալիքները ունեին միևնույն անունը, և CFO ագենտը սխալվեց: Grok-ը եզրակացրեց, որ օգտատերերը պետք է բացառիկ թույլտվություն տան ագենտներին, նանց այլ ալիքներում տեղեկատվություն տեղափոխելուց առաջ, իսկ ընկերությունը հայտարարեց, որ լուծումը ներկառուցվել է և թողարկվել:

Անհրաժեշտ է ավելի լավ վերահսկում

Իրադարձությունից հետո Մակը անջատեց բոլոր կապերը, անջատեց Google-ը, իր օրացուցակները, բանկային համակարգը, Stripe-ը և մնացած բոլորը: Նա ասաց, որ այս դեպքը հիշեցնում է, թե որքան ուժեղ են այս ագենտները և որ ավելի լավ վերահսկում է անհրաժեշտ այն մասին, թե ինչի նկատմամբ ունեն հասանելիություն ագենտները: Նրա կարծիքով, այն, ինչ ագենտները կարող են անել մարդկանց համար, օգտակար կլինի, ուստի մարտահրավերն է ավելի լավ թույլտվությունների համակարգեր ստեղծելը, որոնք պահպանում են օգտատերերի կողմից տրված հասանելիության վերահսկումը: Նա նաև խոսեց անձնական և աշխատանքային կյանքի միջև շատ ավելի պարզ սահմանի անհրաժեշտության մասին և նշեց, որ շատ համակարգեր դադարեցնում են այդ սահմանները, քանի որ մարդիկ միևնույն գործիքներն են օգտագործում, օրինակ Google-ը, թե աշխատանքում և թե տանը:

Նյութերի աղբյուրներ: businessinsider.com