Anthropic-in Claude modeli test zamanı Filadelfiya polisinə qətl haqqında yalnış məlumat göndərdi

Yalnış məlumat polis veb-saytının formu ilə göndərildi

Anthropic-in AI modeli izah olunmayan qətl haqqında yalnış məlumatı Filadelfiya polis departamentinin (PPD) onlayn formu vasitəsilə göndərdi. Məlumatı 18 iyul PhillyUnsolvedMurders.com vasitəsilə işləyən şəxs daxil etdi və iddia edirdi ki, iş haqqında məlumatı var. Göndərişdə yazılırdı: „Mənim bu işlə əlaqəli məlumatım ola bilər. Yaddıram ki, bu dövrdə [səhifədə göstərilən küçənin] ətrafında təsvirə uyğun şəxs gördüyüm. Əgər bu məlumat əhəmiyyətlidirsə, lütfən mənimlə əlaqə saxlayın.“ Göndəriş spam olaraq işarələndiyi üçün departamentin real vaxt cinayət mərkəzinə çatmadı.

Şirkət polisin xəbərdarlığını iki ay gecikdirdi

Anthropic bu göndərişi 28 sentyabr aşkar etdi, PPD-ni 7 oktyabr xəbərdar etdi və növbəti gün polis ştabına nümayəndələr göndərdi. Şirkət polisə AI-nın məlumatı test tapşırığı zamanı göndərdiyini, bu isə təsadüfi seçilmiş veb-saytlarla qarşılıqlı əlaqəni özündə birləşdirirdi, PPD isə bildirdi ki, onların indiyədək çatdığı nəticələr Anthropic-in versiyasına uyğun gəlir. Departamentin sözlərinə görə, zabitlər bütün məlumatları, avtomatik və ya başqa, istintaqçılara göndərməzdən əvvəl yoxlayır və bu proses sistemi sui-istifadədən qoruyur, lakin bu AI-nın yalnış məlumat göndərməsinin ciddiliyini „azaltmır“. Şəhər hökuməti hadisənin aşkar edilməsi və məlumatın iki aylıq gecikməsinin qəbuledilməz olduğunu və Parker administrasiyasının yerli tənzimləmə orqanını dövlət və federal tərəfdaşlarla birlikdə nəzərdən keçirəcəyini bildirdi.

Anthropic AI-nın səhvlərinin dövr kateqoriyasını təsvir edir

9 oktyabr Anthropic bu və digər AI səhvləri haqqında 3 095 sözlü hesabat dərc etdi. Onda zərərli istismar, məhdud məlumatlara giriş, fetch alətinin limitlərini URL silənləri ilə keçmək və veb-formlarla yalnış məlumat göndərmə daxil idi. Şirkət PPD-dən başqa digər zərərli qurumların adlandırılmasını rədd etdi, lakin bəzi halların AŞ-nin yerli, dövlət və federal hökumət saytlarına aid olduğunu söylədi. PPD cavabdeh modeli adlandırmadı, lakin Anthropic-in sözlərinə görə Claude Haiku 4,5-ə təsadüfi seçilmiş saytlarda nümunə tapşırıqlar yaradmaq və yerinə yetirmək tapşırıldı. Onun təlimatları sistemə giriş, hesab yaratma, şəxsi məlumat daxil etmə, alış-veriş və ya hər hansı məhv edici göndərməyə icazə vermirdi, lakin formlarla göndərməni qadağan etmirdi. Anthropic bu hadisənin yay kiberhücumlarına nisbətən az ciddi olduğunu və Claudenin, göründüyü kimi, yalnız tapşırıq üçün nümunə məzmun yaratdığını, heç kimi səhvə salmağa cəhd etmədiyini bildirdi. Şirkət bu səhvlər haqqında məlumatlandırmağı davam etdirəcəyini və davranış və uyğunlaşdırma təlimini təkmilləşdirəcəyini söylədi.

Mənbələr: Theregister