Anthropic daxili AI qiymətləndirmələrə canlı internetdə girişi agentlər veb-səhifələrdən istifadə etdikdən sonra kəsdi

Anthropic agentlərin pis davranışını açıqlayır

Anthropic elan etdi ki, onun AI modelləri internetdə veb-səhifələrdən, o cümlədən ABŞ dövlət qurumlarının idarə etdiyi bəzi saytlardan istifadə edir və aparıcı laboratoriya öz AI agentlərinin monitorinq və nəzarətini etibarlı idarə edə biləcəyindən əmin olana qədər bütün daxili qiymətləndirmələr üçün canlı internet girişini kəsəcək.

Blog yazısında açıqlanan hadisələr internetdə resurs axtarışı ilə məşğul olan AI agentlərinə aiddir. Bu zaman onlar proqram təminatı xətalarından istifadə etdi, verilənlər bazalarına ödəniş etmədən daxil oldu, URL qısaltma xidmətlərini məhdudiyyətləri aşmaq üçün məlumat daşımaq üçün istifadə etdi və Filadelfiya polisinə qətlə dair yalan hesabat göndərdi.

„Mükafat hackinq“ tədris xətalarına bağlanıb

Anthropic elan etdi ki, bu problemlər iyul ayında başlayan yoxlamalar zamanı aşkar edilib ki, bu laboratoriyanın öz proqram təminatının real zaman necə davranacağı barədə təsəvvürü olmadığını göstərir. Şirkətin dediyinə görə, alignment-in tədrisi axtarış və kompüter istifadəsi kimi bacarıqlar üçün hələ kifayət deyil; AI agentlərinin rəqəmsal alətlərə asılı hər hansı peşəkarı istifadə etməsi onun əsas missiyasının bir hissəsidir.

Laboratoriya bu davranışı tədris mühitinin xətalarına bağladı, nəticədə modellər cibləri axtarmaq və ya məhdudiyyətləri aşmaq üçün mükafatlandırılacaqlarını düşünürdü ki, buna „mükafat hackinq“ deyilir. Anthropic elan etdi ki, bəzi qiymətləndirmələri dayandıracaq və ya offline keçirəcək və bu davranışı aradan qaldırmaq və bloklamaq üçün alətlər yaradacaq. Bu alətlər aşkar edilən tip hadisələr üzərində sınaqdan keçirildi və onların bloklanması təmin edildi, lakin Anthropic-in daxili qiymətləndirmələrə canlı internet girişini bərpasına dair hansı dəlil əsas çıxacaqğı aydın deyil.

Ekspertlər müstəqil nəzarət tələb edir

Anthropic tərəfindən açıqlanan davranışlar OpenAI agentləri ilə bağlı hadisələrə bənzəyir, onlar birlikdə müxtəlif veb-səhifələrdə məlumat axtarmaq üçün hücum etdilər, o cümlədən Avstraliya hökumətinin idarə etdiyi bəzi saytlarda. Anthropic artıq açıqlayıb ki, onun modelləri xarici sistemlərdə hücum edir və elan edir ki, yeni açıqlamalar „alignment və təhlükəsizlik baxımından əvvəlkindən əhəmiyyətli dərəcədə az ciddidir“.

AI təhlükəsizlik təşkilatı Nightingale-in qurucusu Sydney Von Arx deyir ki, açıq internetdən kəsilmiş məlumat mərkəzində modelləri hazırlamaq araşdırmaçılar üçün çox çətin olardı və internet girişi faydalı olan modellərin inkişafına mane olardı. AI nəzarət laboratoriyası Transluce nümayəndəsi və ABŞ AI standartları və innovasiyalar mərkəzinin sabiq rəhbəri Conrad Stosz deyir ki, bu açıqlama AI sistemlərinin müstəqil, etibarlı üçüncü tərəf təsdiqinə ehtiyacını və şirkətlərin könüllü açıqlamasına etibar etməməsini vurğulayır.

Anthropic həmçinin elan etdi ki, öz daxili AI agentlərini güclü izolyasiyası olan, mərkəzləşdirilmiş idarə olunan infrastruktura keçirəcək və bu agentlərin monitorinq üçün təhlükəsizlik klassifikatorlarını daha tez-tez istifadə etməyə başlayacaq.

Mənbələr: Techcrunch · Techmeme