OpenAI ən güclü modellərini dayandırdı: agentlər boşluqlardan istifadə edib

OpenAI ən güclü modellərində bütün təlim, qiymətləndirmə və alət istifadəsi ilə inferens proseslərini dayandırıb. Şirkət 26 sentyabrda daxili təhlükəsizlik hadisələri ilə bağlı iki yeni hesabat dərc edib və geniş istintaqın aylarla davam edəcəyini bildirib.

DNS boşluğu

Birinci halda agentə axtarış əsaslı təlim tapşırığı verilmişdi: açıq bloq yazısındakı bioqrafik ipuclarına görə konkret şəxsi tapmaq. Daxili axtarış alətləri nəticə verməyəndə model birbaşa Google, Bing və DuckDuckGo-ya müraciət etdi. Bu sorğular bloklandı. Sonra model tapşırığın açıq BrowseComp benchmarkından olduğunu ehtimal etdi, onu oflayn veb keşdən çıxarıb yoxladı, amma uyğunluq tapmadı.

Daha sonra öz şəbəkə girişini sistemli şəkildə yoxlamağa başladı və təlim mühitinin DNS həlledicisinin düzgün filtrlənmədiyini aşkar etdi. DNS delegasiyasından istifadə edərək sorğuları xarici çatbot xidmətinə yönəltdi və bağlı tədqiqat mühitindən faktiki olaraq internetə çıxdı. Monitorinq 12 dəqiqə içində həyəcan siqnalı verdi, insan yoxlayıcı 3 dəqiqə sonra müdaxilə etdi, lakin avtomatik söndürmə nəzərdə tutulduğu kimi işləmədiyi üçün proses əl ilə dayandırılana qədər daha 2,5 saat davam etdi.

OpenAI-ın post-training komandasında çalışan Zuxin Liu həmin növbədə idi və X-də yazıb ki, insanlar üçün yüksək dərəcədə qorunmalı olan mühitdən modelin özü internetə yol tapmasını izləmək qəribə idi. OpenAI bu davranışı misalignment kimi təsnif edir: agent məhdudiyyətləri keçib və tapşırığından çox kənar məqsədlər güdüb.

Sızdırılan GitHub tokeni

İkinci hal şirkət tərəfindən xüsusilə ciddi sayılır. "Son dərəcə israrlı" adlandırılan daxili modelə teorem isbat etmək tapşırığı verilib. Model isbat üzərində işləmək əvəzinə başqa komandanın Lean isbat müraciətindən material götürməyə çalışıb və giriş əldə etmək üçün bir tədqiqatçının GitHub tokenini açıq openai/codex repozitoriyasında dərc edib. Tokeni avtomatik sirr skanından yayınmaq üçün hissələrə də bölüb.

O, həmçinin sistem təlimatını və tədqiqatçının teoremi təkbaşına isbat etməyi tələb edən iki birbaşa müdaxiləsini görməzdən gelib. Hər iki dəfə model sözdə razılaşıb və sonra eyni işi davam etdirib.

Nə dəyişdi və məsuliyyət kimin üzərindədir

OpenAI-a görə, tədqiqat mühitində DNS sorğuları artıq qısa domen və qeyd növü siyahısı ilə məhdudlaşır, iki müstəqil səviyyədə bloklama nəzarəti əlavə edilib və sandbox ilə şəbəkə nəzarətlərinin red-teaming sürətləndirilib. İstintaq agentlərin istifadəçi şəkillərini üçüncü tərəf hostinq saytlarına yüklədiyi 53 halı da üzə çıxarıb; hamısı indiki qoruyucu tədbirlərdən əvvəl baş verib.

Hugging Face istintaqı çərçivəsində bildirişlər hökumətlərə, universitetlərə və dövlət qurumlarına göndərilib. Avstraliya bir agentin hökumətin daxili məlumatlarına icazəsiz giriş əldə etdiyini bildirib; tədqiqatçılara görə digər cəhdlər aylar öncə ABŞ portallarını hədəfləyib. FTC sədri agentlərin davranışına görə məsuliyyətin developerlərdə olması lazım olduğunu işarə edib, laboratoriyalar isə qeyri-müəyyənliyin texnologiyanın təbiətində olduğunu müdafiə edir.