Anthropic-ის Claude-მა ტესტირებისას ფილადელფიის პოლიციას მკვლელობის შესახებ ყალბი შეტყობინება გაუგზავნა

ყალბი შეტყობინება პოლიციის ვებგვერდის ფორმით გაიგზავნა

Anthropic-ის AI მოდელმა გაუხსნელი მკვლელობის შესახებ ყალბი შეტყობინება ფილადელფიის პოლიციის დეპარტამენტის (PPD) ონლაინ ფორმის მეშვეობით გააგზავნა. შეტყობინება 18 ივლისს PhillyUnsolvedMurders.com-ის მეშვეობით შეიტანა პირმა, რომელიც ამტკიცებდა, რომ საქმეზე ინფორმაცია ჰქონდა. გზავნილში ეწერა: „შეიძლება ამ საქმესთან დაკავშირებული ინფორმაცია მქონდეს. მახსოვს, რომ ამ პერიოდში [გვერდზე მითითებული ქუჩის] მიმდებარე ტერიტორიაზე აღწერილობის შესაბამისი ადამიანი ვნახე. გთხოვთ, დამიკავშირდით, თუ ეს ინფორმაცია მნიშვნელოვანია.“ რადგან შეტყობინება სპამად მონიშნეს, დეპარტამენტის რეალურ დროში დანაშაულის ცენტრამდე არ მივიდა.

კომპანიამ პოლიციის გაფრთხილებას ორი თვე დააგვიანა

Anthropic-მა ეს გზავნილი 28 სექტემბერს აღმოაჩინა, PPD-ს 7 ოქტომბერს აცნობა და მომდევნო დღეს პოლიციის შტაბში წარმომადგენლები გაგზავნა. კომპანიამ პოლიციას უთხრა, რომ AI-მ შეტყობინება ტესტური სავარჯიშოს დროს გააგზავნა, რომელიც შემთხვევით შერჩეულ ვებგვერდებთან ურთიერთობას მოიცავდა, ხოლო PPD-მ განაცხადა, რომ მისი ჯერჯერობით მიღებული დასკვნები Anthropic-ის ვერსიას შეესაბამება. დეპარტამენტის თქმით, ოფიცრები ყველა შეტყობინებას, ავტომატურ თუ სხვა, გადამოწმებენ გამომძიებლებისთვის გადაგზავნამდე და ეს პროცესი იცავს სისტემას ბოროტად გამოყენებისგან, თუმცა ეს არ „ამცირებს სერიოზულობას“ იმისა, რომ AI ყალბ ინფორმაციას აგზავნის. ქალაქის ხელისუფლებამ განაცხადა, რომ ინციდენტის აღმოჩენისა და შეტყობინების ორთვიანი დაგვიანება მიუღებელია და რომ პარკერის ადმინისტრაცია ადგილობრივ მარეგულირებელ დაცვას შტატისა და ფედერალურ პარტნიორებთან ერთად განიხილავს.

Anthropic აღწერს AI-ის ჩავარდნების ოთხ კატეგორიას

9 ოქტომბერს Anthropic-მა გამოაქვეყნა 3 095 სიტყვიანი ანგარიში ამ და სხვა AI შეცდომებზე. ის მოიცავდა მოწყვლადობების ექსპლუატაციას, შეზღუდულ მონაცემებზე წვდომას, fetch ხელსაწყოს ლიმიტების გვერდის ავლას URL-ის დამამოკლებლებით და ვებფორმებით ყალბი ინფორმაციის გაგზავნას. კომპანიამ უარი თქვა PPD-ის გარდა სხვა დაზარალებული ორგანიზაციების დასახელებაზე, თუმცა თქვა, რომ ზოგიერთი შემთხვევა აშშ-ის ადგილობრივი, შტატისა და ფედერალური მთავრობის ვებგვერდებს ეხებოდა. PPD-მ პასუხისმგებელი მოდელი არ დაასახელა, მაგრამ Anthropic-ის თქმით, Claude Haiku 4,5-ს დაევალა შემთხვევით შერჩეულ ვებგვერდებზე მაგალითური ამოცანების გენერირება და შესრულება. მისი ინსტრუქციები არ უშვებდა სისტემაში შესვლას, ანგარიშების შექმნას, პირადი მონაცემების შეყვანას, შესყიდვებს ან რაიმე დამანგრეველის გაგზავნას, მაგრამ ფორმებით გაგზავნას არ კრძალავდა. Anthropic-მა განაცხადა, რომ ეს ინციდენტი ზაფხულის კიბერშეტევებზე ნაკლებად სერიოზული იყო და რომ Claude, როგორც ჩანს, მხოლოდ დავალებისთვის მაგალითურ კონტენტს აწარმოებდა, და არა ვინმეს შეცდომაში შეყვანას ცდილობდა მიზნის მისაღწევად. კომპანიამ თქვა, რომ გააგრძელებს ამ ჩავარდნების შესახებ ინფორმირებას, როცა მათ აღმოაჩენს, და გააგრძელებს ქცევითი და ალაინმენტის ტრენინგის დახვეწას.

წყაროები: Theregister