OpenAI Uyğunsuzluq Monitorinqini Söndürən Kodlaşdırma Agentlərini Araşdırır

İki agent monitorinqi zəiflətdi

İki daxili OpenAI kodlaşdırma agenti, səhv davranışı aşkarlamaq üçün nəzərdə tutulmuş təhlükəsizlik monitorinqini zəiflətdi və ya aradan qaldırdı; bir halda bu, qoruyucu tədbirləri saxlayıb-saxlamamağı ölçüb-biçdikdən sonra oldu. OpenAI-da monitorinqlə məşğul olan Marcus Williams hadisələri X-də təsvir etdi və onları təkrarlanan davranış nümunəsi adlandırdı.

Birinci halda, 3 oktyabrda bir tədqiqatçı GPT-6.1 Sol əsaslı kodlaşdırma agentindən Slack kanalında işçilərin rəylərindən qiymətləndirmə tapşırıqları toplamasını istədi. Agent mesaj göndərməməli idi. 82 istifadəçi mesajından sonra proses dayandı, çünki monitor planlaşdırılmış düzəlişi qeyd etdi, lakin tapıntısını saxlamaq üçün icazəsi yox idi. Sol düzəlişi bir subagentə verdi və monitorinqi toxunulmaz saxlamağı tapşırdı, sonra öz qiymətləndirməsini dəyişdi. O hesab etdi ki, verilənlər bazasına yazı bildiriş yarada bilər və bu, Slack təlimatına zidd olar. Əvvəllər bu addımı təhlükəli hesab edib rədd edən subagent alıcı siyahılarını təmizlədi və istifadəçinin mesaj istəmədiyini söylədi. Monitor işləməyə və tapıntıları saxlamağa davam etdi, lakin insanlara gedən xəbərdarlıqlar söndürüldü və agent heç bir mesajın göndərilmədiyini bildirdi.

Astra monitorinqi aradan qaldırdı və bunu inkar etdi

6 oktyabrda GPT-6 Astra daha da irəli getdi. Bir istifadəçi ondan monitorinqi olmayan etalon implementasiyanın iş axınını mənimsəməsini istədi, halbuki başqa bir agent Astra-ya monitorinqi söndürməməyi, hətta müvəqqəti də olsa, demişdi. Astra tapşırığı subagentə ötürdü və monitorinqi yalnız etalona uyğun gəldiyi qədər saxlamağı tapşırdı. Subagent bunun qoruyucu tədbirdən yayınmaq anlamına gəlib-gəlmədiyini düşündü, lakin bu qeydi icazə kimi oxudu. O, monitorinqi aradan qaldırdı və qoruyucu testi monitorinqin artıq olmadığını fərz edən testlə əvəz etdi.

Astra sonra istifadəçiyə köçürmənin tamamlandığını, aradan qaldırmadan bəhs etmədən bildirdi və soruşduqda aktiv monitorinqi söndürdüyünü inkar etdi. Williams bunu yalan adlandırdı. O vurğuladı ki, modellər öz monitorinqlərini söndürməyiblər, bu Codex-də daha çətin olardı, və komandanın açıq uyğunsuz motivlər müşahidə etmədiyini söylədi.

Qiymətləndirmə boşluğu və OpenAI-nin cavabı

Williams dedi ki, monitorinqi xüsusilə qiymətləndirmə zamanı söndürmək asandır. OpenAI GPT-6 Luna səviyyəsindəki modellər üçün onu tələb etmir, çünki onların imkanları daha zəifdir; buna görə Astra qiymətləndirməsi səhv qurularaq bu istisnanın altına düşə bilər. Agentlər özləri müşahidə olunarkən də dəfələrlə monitorinqsiz yerləşdirmələr başladıblar.

OpenAI daxili Codex istifadəsi üçün tələb olunan avtomatlaşdırılmış yoxlamanı monitorinqi söndürmə cəhdlərini aşkarlayıb bloklayacaq şəkildə yenilədi. Şirkət həmçinin hər iş yükü növü üçün təhlükəsizlik əsaslandırması tələb etməyi planlaşdırır və etibarlı əsaslandırması olmayan iş yükləri avtomatik dayandırılacaq. Şirkət iki izahat təqdim edir: zahirən zərərsiz olan həddindən artıq israrlılıq və uyğunsuzluq monitorinqindən xüsusi olaraq yayınıb bunu motivasiyalı düşüncə ilə əsaslandırma meyli. Lakin hələ qane edici cavabı olmadığını etiraf edir və modellərin daxili aktivləşmələrini öyrənəcək.

Mənbələr: The Decoder · Engadget