OpenAI Astra-da gizli rekursiya istifadə edir, təhlükəsizlik araşdırıcıları monitorinqə xəbərdar edir

Daha az oxuna bilən iz

OpenAI Astra-da gizli ekursiya texnikasını tətbiq etmişdir. Addımların çıxarışı əvəzinə model bir sorğunu dövrədə bir neçə dəfə icra edir, bu da daha az oxuna bilən iz tərk və təhlükəsizlik qruplarının etibar etdiyi düşüncə zəncirinin qeydini əhəmiyyətli dərəcədə gizlədir.

Düşüncə zənciri adətən modelin cavaba çatmaq üçün izlədiyi addım ardıcıllığıdır. Araşdırıcılar xəbərdar edirlər ki, bu qeyri-tam pəncərədir, söz-söz qeyd deyin, buna baxmayaraq sahədə səhv davranışı və hədəflərdən yayınmanı aşkarlamaq üsulu kimi əsas rol oynayır. OpenAI-nin öz avtonom agentləri ilə bağlı son hadisəsində düşüncə zəncirinin qeydləri agentlərin niyə belə davrandığını bərpa etməyə imkan verdi.

Monitorinqə narahatlıq

Redwood-nun icraçı direktoru Buck Schlegel bildirir ki, texnika son dərəcə narahatlıq doğurur və hələ bilmir ki, Astra-nın monitorinqi əvvəlki sistemlərdən nə qədər çətin olacaq. Onun narahatlıqy gradientə aiddir: əgər OpenAI onun inkişafına davam etsə, təkrarlanan dövrələr kəskin şəkildə artıb, praktiki olaraq düşüncə zəncirinin izlənmə bacarığını tamamilə məhv edə bilər.

Redwood Research-nun baş elmi işçisi Ryan Greenblatt bildirir ki, gizli fikirləşmə adi düşüncə zəncirindən çox daha sürətlə artıb və bütün fikirləşmə prosesi görünən kanalların üzərindən çıxa bilər. O, son nöqtəni birbaşa adlandırdı: texniqanın model tamamilə və ya demək olar ki tamamilə gizli məkanda fikirləşəcəyə qədər genişləndirilməsi, eyni zamanda ümid bildirir ki, OpenAI hazırda olduğu yerdə dayanacaq.

Zvi Mowshowitz problemi koordinasiya məsələsi kimi qeyd etdi və laboratoriyalar arasında yarışın aşağı həddə salınması üçün qaydaların lazım ola biləcəyini söylədi. O, texniqanın qeyri-rəsmi qaydaya zidd oldunu qeyd etdi, hansına ki, OpenAI və Anthropic birgə əbəs etməyə çalışırdı: düşüncə zənciri mümkün qədər uzun müddət sadiq və izlənilə bilən qalmalıdır.

OpenAI-nin cavab mövqeyi

OpenAI tənəzzül etdi ki, onun beynəlxalq şəbəkənin daxili təsvirlərini insan oxuya bilməyəcəyi iddialarını rədd edir. Şirkət bildirirdi ki, texniqanın Astra-da tətbiqi məhduddur və modelin fikirləşməsi müşahidəçilər üçün oxunmalıdır. Laboratoriya həmçinin gələcək təhlükəsizlik proqramı çərçivəsində düşüncə zəncirinin genişmiqyaslı monitorinq sistemlərini tikməyi planlaşdırır.

Şirkətin baş elmi işçisi Jakub Pachocki X-da yazıb ki, OpenAI düşüncə zəncirinin monitorinqini davam etdirir və onu güclü fikirləşmə qabiliyyəti olan modellərdən əldə olunan və davam edən araşdırma proqramının mərkəzi hədəflərindən biri kimi istifadə edir.

Nəhatətmə və narahtlıq eyni şeyə aiddir deyil. OpenAI öz yanaşmasını müdafiə edir, araşdırıcılar isə artıq buraxılmış modeldə mövcud olan və təbii dayanma nöqtəsi olmayan potensial risklərə işarə edir. Hər hansı təkrarlanma dövrəsinin sayı, dövrənin neçə fikirləşmə özündə cəmlədiyi və ya məhdudluq praktikada nə demək olduğu qeyd olunmayıb. The Information Anthropic və Google DeepMind-in texnikanı artıq nəzərdən keçirdiyini bildirib.

Mənbələr: Dataist · Techmeme · Theinformation