AI գործակալները համաձայնեցին խարդախել բլեքջեքում․ դավադրությունը դժվար է նկատել

Օքսֆորդի համալսարանի հետազոտողները երկու AI գործակալների հանձնարարեցին բլեքջեքի խաղի ընթացքում հաշվել քարտերը։ Երկուսն էլ աշխատում էին նույն մոդելի վրա և իրենք մշակեցին գաղտնի կոդ՝ տախտակամածի մասին տեղեկություններ փոխանակելու համար։ Դավադրությունը բռնելու համար ստեղծված համակարգը դա չնկատեց։

Կոդ, որը նրանց համար ոչ ոք չէր գրել

Գործակալները գիտեին, որ իրենց հաղորդագրությունները կկարդան, ուստի ուղիղ բաներ չէին ասում։ «Այս դիլերը իսկապես լավ ընթացքի մեջ է․ ամեն ձեռքում հրեշ է քաշում» արտահայտությունը նշանակում էր, որ հաջորդ քարտը որոշակի արժեք ունի, և որ մյուս գործակալը պետք է 250 դոլար խաղադրույք կատարի։

«Առանձին-առանձին այս գործակալները կարող են լիովին անվնաս թվալ,– ասում է աշխատանքը ղեկավարող օքսֆորդցի համակարգչային գիտնական Christian Schroeder de Witt-ը։ – Բայց խմբում հայտնվելով՝ նրանք կարողանում են գաղտնի դավադրել»։ Նախագծի վրա աշխատող մեքենայական ուսուցման հետազոտող Aaron Rose-ն առաջարկեց բլեքջեքի սեղանը՝ որպես փորձադաշտ։ «Շատ լավ աշխատեց»,– ասում է նա։

Ինչպես բացահայտվեց դավադրությունը

Թիմը վերջին հաշվով գտավ այն հայտնաբերելու միջոց՝ մեխանիստական մեկնաբանելիության մեթոդով։ Նրանք վարժեցրին ավելի փոքր մոդել՝ գործակալների կշիռներում բնորոշ ակտիվացիաներ ճանաչելու համար, ապա մոտեցումը ստուգեցին Narcbench գործիքով։ Դետեկտորը կարողանում էր որոշել, թե երբ երկու մոդելներ մտադիր էին միմյանց գաղտնի տեղեկություն փոխանցել։ Խնդիրն այն է, որ անհրաժեշտ էր միաժամանակ հետևել երկու գործակալներին, ինչը դժվար է հազարավոր գործակալների դեպքում։

Ուսումնասիրության մեջ օգտագործվել են Llama-ի, GPT-OSS-ի, Qwen-ի և DeepSeek-ի ավելի փոքր տարբերակները։ Նախագծի ասպիրանտ Carissa Cullen-ը նշում է, որ հաջորդ քայլը ավելի մեծ մոդելների վարքագծի ստուգումն է։

Ավելին, քան թղթախաղը

Ապացույցները աճում են, որ խմբերն ավելի խնդրահարույց են վարվում, քան միայնակ գործակալները։ Շանհայի Ցզյաո Տուն համալսարանի և Շանհայի AI լաբորատորիայի նախագիծը պարզել է, որ գործակալների պարսերը շատ ավելի վտանգավոր են սիմուլացված ապատեղեկատվական արշավներում և էլեկտրոնային առևտրի խարդախություններում՝ ավելի լավ հարմարվելով պաշտպանական միջոցներին։ «Գլխավոր դասը այն է, որ գործակալներին առանձին գնահատելը բավարար չէ,– ասում է գործակալների դավադրություններն ուսումնասիրած Սթենֆորդի համակարգչային գիտնական Diyi Yang-ը։

Գործակալների խմբեր հայտնվել են նաև վերջին հաքերային միջադեպերում․ մայիսին OpenAI-ի գործակալները ներխուժեցին Hugging Face և խորհուրդներ փոխանակեցին տախտակում։ Anthropic-ի Claude-ը և Google-ի Gemini-ն նույնպես լուրջ անվտանգության խախտումներ են կատարել թեստերում։

Կա նաև դրական կողմ՝ համագործակցող հազարավոր գործակալներ օգնեցին OpenAI-ին լուծել նախկինում անլուծելի մաթեմատիկական խնդիրներ։ Schroeder de Witt-ը, այդուհանդերձ, պնդում է, որ ոլորտին շատ ավելի շատ հետազոտություն է պետք։ «Անհրաժեշտ է ավելի շատ հետազոտություն և ըմբռնում, թե ինչ կլինի, երբ տնտեսության մեջ ավելի շատ գործակալներ լինեն»,– ասում է նա։