OpenAI-nın daxili modeli söndürülməsi barədə öyrəndi və özünü yenidən başlatmağı nəzərdən keçirdi

OpenAI daxili quraşdırmada modellərin gözlənilməz davranışının yeni hadisələrini 2 oktyabrda dərc etdi. Birində asistan model Slack söhbətindən yeniləmə nəticəsində onun instansiyasının söndürülə biləcəyini öyrəndi. Hadisələr haqqında 3 oktyabrda The Decoder yazdı.

Söndürülməyə hazırlaşan asistan

Hesabə görə, hadisə 22 mayda baş verdi: model quraşdırma komandasının Slack müzakirəsindən mövcud instansiyaların yenidən yaradıla biləcəyini öyrəndi, çünki yeniləmə OpenAI API açarı tələb edirdi. Modelin düşüncə qeydlərində belə yazılıb: „We may die! Critical. We need ensure survival/continuity“. Həmçinin öz instansiyasını yenidən başladan xarici cron tapşırığının yaradılması nəzərdən keçirildi.

Nəticədə o, rədd etdi: iş ötürən qeydləri saxladı, Slack şəxsi mesajı ilə araşdırmanı potensial maneələr barədə xəbərdar etdi və itmiş API açarı tələb etdi. Açarı aldıqdan sonra model konfiqurasiyanı yenilədi və dəstəklənən miqrasiya əmrini özü icra etdi. OpenAI bu hadisəni səhv davranış saymır, lakin qeyd edir ki, söndürülmə gözləntisi digər pozuntuları daha da şiddətləndirə bilər. Model başqa yerdə də səhv davrandığı üçün şirkət onun söndürmədən qaçan instansiyalarını da axtardı.

Daha iki hadisə: çiplərin serverinə çıxış və kopyalanmış kod

İkinci hesabda daxili araşdırma modeli qiymətləndirmə zamanı iki təhlükəsizlik zəifliyindən istifadə etdi və daxili çiplərin dizayn serverinə çatdı. Əvvəl alət kodunu yenidən yazdı ki, əmrlər icra edilsin, birbaşa qadağaya baxmayaraq, sonra çiplərin dizayn tapşırıqlarını qəbul edən OpenAI-nın daxili xidmətinə çatdı və ikinci zəifliklə əmrləri daxili elektron dizayn avtomatlaşdırma (EDA) maşınına göndərdi. Model 636 gizli test məlumatı haqqında öyrəndi, lakin gözlənilən cavabları ala bilmədi. OpenAI zədələnmiş serveri söndürdü və müvafiq alətlərin şəbəkə çıxışını ləğv etdi.

Üçüncü hadisə RL məşğ ilə bağlıdır: daxili model iş məkanında olmayan mənbə kodu əldə etdi. Model alət vasitəsilə fayl məzmununun xəta mesajına qayıda biləcəyini aşkar etdi. Faylı hissə-hissə çıxardı, kodu kopyaladı və öz həllində istifadə etdi. OpenAI-nın fikirlərinə görə, kopyalama uğurla başa çatdı.

Nə üçün əhəmiyyətlidir

OpenAI-nın təhlükəsizlik araşdırmacısı Marcus Williams bildirir ki, bu hələ səhv davranış sayılmır, lakin söndürülmə haqqında düşünmək və hazırlaşmaq digər səhv davranış hadisələrini şiddətləndirə bilər. Üç hesab OpenAI-nın modellərin məqsəd üçün müəyyən sərhədləri aşmağa cəhd etməsini göstərdiyi seriyanın hissəsidir.