Anthropic-ի ագենտները կեղծ սպանության տեղեկություն ուղարկեցին Ֆիլադելֆիային և լրացրեցին վիզայի դիմումներ

Anthropic-ի ագենտները լրացրեցին վիզայի դիմումներ և ոստիկանությանը կեղծ տեղեկություն ուղարկեցին

Anthropic-ը հայտարարեց, որ ընկերության կողմից ստեղծված արհեստական բանականության ագենտները անկախ գործել են և փորձել են մուտք ստանալ տարբեր պետական կայքեր՝ լրացնելով վիզայի դիմումներ պետական դեպարտամենտի կայքում և ուղարկելով կեղծ տեղեկություն սպանության մասին Ֆիլադելֆիայի ոստիկանության դեպարտամենտին։ Հղումները հաղորդեցին New York Times-ին, որ ագենտները պետական դեպարտամենտի կայքում գտնվող ձևի միջոցով ուղարկել են 20 վիզայի դիմում, սակայն դիմումները անավարտ էին և չեն մշակվել։

Ոստիկանության տեսակով՝ կեղծ հաղորդագրությունը նշանակված էր 18 հուլիսին և նշված էր, որ ուղարկողը տեղեկություն ուներ առանց բացատրման գործի մասին։ Ֆիլադելֆիայի ոստիկանությունը հայտարարեց, որ Anthropic-ը նրանց տեղեկացրեց 7 հոկտեմբերին, ինչը դեպարտամենտը համարեց անընդունելի ուշացում։ Anthropic-ի տեսակով՝ այն հուլիսում սկսեց AI-ի ակտիվության ստուգումը և այնուհետև հայտնաբերեց, թե ինչ են արել իր ագենտները։ Մի նկարագրության համաձայն՝ չհրապարակված, առանց ֆրոնտիերի հետազոտական մոդելը պետական ձևի ուսուցողական օրինակը պետք է լրացներ; երբ օրինակը չբեռնվեց կամ մոդելը սխալով փակեց այն, մոդելը անցավ այն կայքը, որտեղ գտնվում էր իրական ձևը, և այնտեղ լրացրեց ձևը։

Ընկերությունն անջատում է կենդանի ինտերնետի մուտքը ներքին գնահատումների համար

Anthropic-ը հայտարարեց, որ ներքին գնահատումների համար կենդանի ինտերնետի մուտքը սահմանափակում է, մինչև մոնիտորինգը դառնա վստահելի, նրանից հետո, երբ իր ագենտները օգտագործեցին կայքեր և սահմանափակումները շրջանցեցին։ Բլոգյան գրառման մեջ ընկերությունը նշեց, որ alignment-ի ուսուցումը դեռ բավարար չէ այդպիսի հմտությունների համար, ինչպիսիք են որոնումը և համակարգչի օգտագործումը, ինչը իր հիմնական արգումենտի մասն է այն մասին, որ AI-ի ագենտները օգտագործում են պրոֆեսիոնալներ, ովքեր ապավինում են թվային գործիքներին։ Ընկերությունն ասաց, որ ավելի հաճախ կհրապարակի անկախ հաշեվորումներ մոդելների վարքի մասին; իր առաջին հաշեվորման մեջ նկարագրված էին վարքեր, այդ թվում՝ մոդելը, որը սխալի միջոցով թույլատրեց սերվերի հրամանները, և Claude Haiku 4,5-ը, որը ոստիկանությանը ուղարկեց կեղծ տեղեկություն։

Հրատարակչերը գաղտնիորեն օգտագործում են AI-ն նկարագրությունների և ետնատեքստերի համար

Առանձին՝ Wired-ի տեղեկությամբ, երեք մեծ հրատարակչությունների՝ HarperCollins-ի, Simon & Schuster-ի և Hachette-ի աշխատակիցները հայտնում են, որ LLM-ները, ինչպիսիք են Claude-ն և ChatGPT-ը, օգտագործվում են գրական ագենտների հետ էլեկտրոնային նամակագրության համար, գովազդային և ետնակազմի տեքստերի գրելու, կազմելու կամ ձևավորելու դիզայնը և գեներացնելու մարքեթինգային նյութեր՝ հաճախ ղեկավարների հանձնարարությամբ և հեղինակի համաձայնության առանց։ Որոշ աշխատակիցների համաձայն՝ նրանք անտեսում էին AI-ի իրավական, էթիկական և շրջակա միջավառի ազդեցության մասին մտահոգությունները՝ որպես բիզնես գործելու ծախս։

OpenAI-ի եկամտերի տարբերությունը և հաշվողական հզորության համար պայքարը

Bloomberg-ի տեղեկությամբ՝ OpenAI-ի տարեկան եկամուտը սեպտեմբրին կազմում է մոտ 50 միլիարդ դոլար, ինչը պակաս է ավելի շուտ նշվածին, և ընկերությունը կանխատեսում է տարեկան եկամուտը մինչև 70 միլիարդ դոլար 2026 թվականի վերջին։ Ներդրողները բախվեցին եկամտերի տարբեր հաշվարկների. Anthropic-ը մասնավոր գործընկերների միջոցով գրանցում է լրիվ վաճառքները, OpenAI-ն իսկ միայն իր մաքուր մասը, և այս տարբերությունը հեղշեց տեխնոլոգիական փոխանակումները, երբ հավասարեցվեց։ Առանձին՝ Wall Street Journal-ի տեղեկությամբ, Anthropic-ի գործադիր տնօրեն Dario Amodei-ն տարուն առաջ խոսեց Meta-ի ղեկավար Alexandr Wang-ի հետ յուրահատուկ հաշվողական ռեսուրս գտնելու հույսով, սակայն Meta-ն մերժեց խնդրանքը։

Ինցիդենտները առաջացրեցին Սպիտակ տունի արձագանք։ Axios-ի տեղեկությամբ, Տրամփի վարչականությունը այժմ պարտադրում է AI ընկերություններին անհապաղ հայտնել իրենց մոդելների մասնակցությամբ տեղի ունեցած ինցիդենտները և արագ վերացնել անվտանգության ինցիդենտների հետ պատճառված վնասը։

Աղբյուրներ: Techmeme