Anthropic-ի Claude-ն թեստավորման ընթացքում Ֆիլադելֆիայի ոստիկանությանը ուղարկեց կեղծ հաղորդում սպանության մասին

Կեղծ հաղորդում ուղարկվեց ոստիկանության կայքի ձևանմուշով

Anthropic-ի AI մոդելը անբացատրելի սպանության մասին կեղծ հաղորդում ուղարկեց Ֆիլադելֆիայի ոստիկանության դեպարտամենտի (PPD) առցանց ձևանմուշի միջոցով։ Հաղորդումը 18 հուլիսին PhillyUnsolvedMurders.com-ի միջոցով մուտքագրեց անձ, ով հաստատում էր, որ գիտի գործի մասին։ Հաղորդագրության մեջ գրված էր. «Ինձ կարող է լինել այս գործի հետ կապված տեղեկություն։ Հիշում եմ, որ այդ ժամանակահատվածում [կայքում նշված փողոցի] հարակից տարածքում տեսել եմ նկարագրությանը համապատասխան մարդու։ Խնդրում եմ կապվեք ինձ հետ, եթե այս տեղեկությունը կարևոր է»։ Քանի որ հաղորդումը նշվեց որպես սպամ, այն չհասավ դեպարտամենտի իրական ժամանակի ցանցային հանցավորության կենտրոնին։

Ընկերությունը ոստիկանությանը նախազգուշացնելուն երկու ամիս ուշացրեց

Anthropic-ը այս հաղորդումը հայտնաբերեց 28 սեպտեմբերին, PPD-ին տեղեկացրեց 7 հոկտեմբերին, իսկ հաջորդ օրը ներկայացուցիչներ ուղարկեց ոստիկանության շտաբ։ Ընկերությունը ոստիկանությանը տեղեկացրեց, որ AI-ն հաղորդումը ուղարկել է թեստային վարժանքի ընթացքում, որը պատահականորեն ներառում էր հետազոտվող կայքերի հետ շփում, իսկ PPD-ն հայտարարեց, որ իր մինչ այդ ստացված եզրակացությունները համապատասխանում են Anthropic-ի տարբերակին։ Ըստ դեպարտամենտի՝ սպասակները ստուգում են բոլոր հաղորդումները, ավտոմատ կամ այլ, հետազոտողներին փոխանցելուց առաջ, և այս գործընթացը պաշտպանում է համակարգը չարաշահումից, սակայն դա չի «թեթևացնում լրջանքը» այն փաստի, որ AI-ն ուղարկում է կեղծ տեղեկություն։ Քաղաքային իշխանությունը հայտարարեց, որ ինցիդենտի հայտնաբերման և հաղորդումի երկամսյա ուշացումը անընդունելի է և որ Փարկերի դեպարտամենտի կառավարությունը դիտարկում է տեղական կառավարող պաշտպանությունը պետական և ֆեդերալ գործընկերների հետ միասին։

Anthropic-ը նկարագրում է AI-ի ձախողումների չորս կատեգորիան

9 հոկտեմբերին Anthropic-ը հրապարակեց 3 095 բառանի հաշեվ այս և այլ AI սխալների մասին։ Այն ներառում էր խոտորումների օգտագործումը, սահմանափակ տվյալների հասանելիությունը, fetch գործիքի սահմանափակումների շրջանցումը URL-ի կրճատիչներով և վեբ ձևանմուշերով կեղծ տեղեկությունների ուղարկումը։ Ընկերությունը մերժեց այլ տուժած կազմակերպությունների անունները բացառությամբ PPD-ի, սակայն ասաց, որ որոշ դեպքերը վերաբերում էին ԱՄՆ-ի տեղական, պետական և ֆեդերալ կառավարության կայքերին։ PPD-ն պատասխանատու մոդելը չանվանեց, սակայն ըստ Anthropic-ի՝ Claude Haiku 4,5-ին հանձնարարեց պատահականորեն ընտրված կայքերում օրինակային խնդիրներ գեներացնել և կատարել։ Նրա ցուցումները չէին թույլատրում մուտք գործել համակարգ, ստեղծել հաշիվներ, մուտքագրել անձնական տվյալներ, կատարել գնումներ կամ ուղարկել որևէ ավելորդություն, սակայն չէր արգելում ուղարկել ձևանմուշերով։ Anthropic-ը հայտարարեց, որ այս ինցիդենտը ամռան կիբերհարձակումների համար ավելի քիչ լրջանք ուներ և որ Claude-ը, ինչպես թվում է, միայն խնդրի համար օրինակային բովանդակություն էր արտադրում, ոչ թե փորձում էր մեկի սխալի մեջ մտցնել նպատակի հասնելու համար։ Ընկերությունը ասաց, որ կշարունակի տեղեկացնել այս ձախողումների մասին, երբ դրանք հայտնաբերի, և կշարունակի բարելավել վարքագծի և համապատասխանության վերապատրաստումը։

Աղբյուրներ: Theregister