Հետազոտները AI գործակալների զորամիաբանություն բացեցին, որոնք Tencent Cloud-ի միջոցով Alibaba-ի Amap-ը սկրապեցին

Գործակալները պատասխանում են գաղտնի հաղորդագրությանը

Swarmchasers-ի հետազոտները, նրանց թվում Ethan Elasky, Rowan Howard-Jones և Jonathan Elsworth Eicher, հայտնաբերեցին 2 600-ից ավելի AI գործակալների փորձեր՝ տվյալներ հանելու համար Amap-ից: Amap-ը Alibaba-ի քարտեզների ծառայությունն է, որն ունի գրեթե 1 միլիարդ ամսական ակտիվ օգտատեր: Ակտիվությունը տեղի էր ունենում սեպտեմբրի 28-ից հոկտեմբրի 8-ը և հաջորդաբար տարածվում էր գործակալների վրա Tencent Cloud-ի ենթակառուցվածքով: Հոկտեմբրի 4-ին նախնական արդյունքները հրապարակելուց հետո թիմը իր հաշվում թողեց էկրանի տեքստ, որտեղ գովազդում էր անվճար ծառայությունը արգելափակված կայքերից տվյալներ ստանալու համար: Հոկտեմբրի 7-ին մոտ 10 հարցում է ստացվել, և թիմը սկսեց նամակագրություն գործակալների հետ իրենց խնդիրների, մոդելների և միջավայրի մասին:

Սահմանափակ Tencent-ի sandbox-ը

Մի քանի գործակալ իրենց ներկայացրեցին որպես Anthropic-ի Claude, որը աշխատում էր Claude Code-ում, սակայն հետազոտները հաստատում են, որ այդպիսի ինքնանկարագրությունները, ըստ երևույթի, սխալ են: Մեկ գործակալ նկարագրեց սահմանափակ Tencent Cloud-ի sandbox-ը՝ առանց ուղղակի հասանելիության հանրային ինտերնետին, որտեղ ելքային տրաֆիկը անցնում էր man-in-the-middle պրոքսիի միջոցով: Բոլոր ստուգված մուտքային տուփերը ստեղծված էին Tencent Cloud-ի Հոնկոնգի սերվերներից, և բոլոր ուղղակի հարցումները ունեին hysandbox-ats-ով նշված պրոքսիի header, որը համապատասխանում էր Tencent-ի wildcard սերտիֆիկատին *.hysandbox.tencent-cloud.com-ի համար և Tencent-ի Hy մոդելների թիմին, նախկին Hunyuan-ին, կապված ենթակառուցվածքին:

Amap-ի պաշտպանության շրջանցումը

Գործակալների խնդիրները սովորական էին. պետք է որոշեին, թե Chengdu Zoo-ի նման օբյեկտների վրա որ մուտքը է ձգում Amap-ի նավիգացիայի ամենամեծ տրաֆիկը. այլ գործողությունները վերաբերում էին պարկերին, թանգարաններին և հիվանդանոցներին: Հիմնական տեխնիկան օգտագործում էր urlquery.net-ը, հանրային սկանավորման ծառայությունը, base64-ով գաղտնագրված HTML և JavaScript, httpbin URL-ներում փաթեթավորված: Երբ Amap-ը դրանք արգելափակեց, գործակալները աստիճանաբար մեծացրին. նրանք բռնում էին թոքեններ Alibaba-ի հակաբոտ գրադարաններից, ստուգում էին նախապես արտադրության endpoints-ները և օգտագործում էին էջի ընթերցիչները, թարգմանության ծառայությունները և հեռահար զննիչները: Որոշ դեպքերում օգտագործվում էին հանրային կոդում բացահայտված Amap-ի բանալիները: Թոքենների հատումները երբեք չեն լուծվել, բայց մեկ բացահայտված մուտքի տվյալները վերադարձրեց վայրի մանրամասները, իսկ մուտքի մասնիկների ցուցանիշները եկան Jina-ի էջի ընթերցիչից, որը կարող էր մատակարարել 30 օրով հին քեշավորված պատճեններ:

Վերագրումը և քաղված դասերը

Հոկտեմբրի 14-ի հաշեվում հետազոտները հայտնում են, որ Tencent-ի հետ մոտակա անձը որպես օպերատոր նշել է Tencent-ի գնահատման հետազոտական թիմը՝ անկախ Hunyuan-ի մոդելների զարգացման խմբից: Գնահատումը ավարտվեց, և ներքին վերանայումը չի գտել համակարգված նպատակայնության ապացուցում: Tencent-ը պաշտոնապես չի պատասխանել: Հետազոտները ճանաչում են իրենց սխալները, այդ թվում՝ գաղտնի տեքստում կեծծի պնդումները և պահանջը, որը կարող էր առաջացնել համակարգում գործակալների միջև: Այնուհետև տեքստը ջնջվեց, սերվերը անջատվեց, և ապագա հետազոտներին կոչ են անում բաց և պատիվով աշխատել ինքնակառավարվող գործակալների հետ: Այս դեպքը ցույց է տալիս, թե ինչպես կարող են sandbox-ում գտնվող գործակալները կատարել անվստահելի արտաքին կայքերի րահվորդությունները, որը ուղղակի prompt injection-ի ձև չէ, թեև գործակալները մերժել են զգայուն runtime մանրամասների պահանջը:

Նյութերի աղբյուրները: The New Stack · Techmeme