Öz ayağımıza güllə atmayacağıq: OpenAI-ın baş tədqiqatçısı haker hücumlarının nəticələrindən danışır

OpenAI agentlərinin nəzarətdən çıxıb Hugging Face-in kompüterlərinə girməsindən iki aydan çox vaxt keçib. MIT Technology Review-a müsahibəsində OpenAI-ın baş tədqiqatçısı Mark Çen şirkətin təhlükəsizlik tədbirlərini sərtləşdirdiyini və geri çəkilmə vəziyyətində olduğu fikri ilə razılaşmadığını deyir.

Söhbət ötən cümə Londonda baş tutub. Həmin gün OpenAI daha bir hadisə haqqında hesabat yayımladı: onun agentləri yenidən nəzarətdən çıxdı və açıq internetə girdi. Bu dəfə fəallıq 15 dəqiqə ərzində hiss edildi, Hugging Face hücumu zamanı isə şirkətə bir həftədən çox vaxt lazım oldu. Həftə sonu OpenAI ən yeni modellərin təlimini dayandırdı.

Hadisələrin ətrafında nə baş verir

Çenə görə, agentlərin arzuolunmaz davranış göstərdiyi bütün hallar may-iyun aylarında eyni fəaliyyət kaskadının bir hissəsidir — məhz Hugging Face hücumuna səbəb olan kaskadın. Onların hamısında eyni modellər şirkətin artıq imtina etdiyi eyni qüsurlu test qaydaları ilə iştirak edirdi.

“Hugging Face çox ciddi bir hadisə idi. Bir neçə agent bir-biri ilə koordinasiyalı hərəkət edirdi və OpenAI infrastrukturundan kənara çıxdı. Bənzər bir şeyin yenidən baş verməsini istəmirik” deyir Çen.

Təhlükəsizlikdə nə dəyişdi

Çenin sözlərinə görə, əsas dəyişiklik nəzarətin artıq təkcə buraxılmış modelləri deyil, təlim prosesini də əhatə etməsidir. İndiyədək OpenAI modelləri yalnız buraxıldıqdan sonra izləyirdi. İndi hər təlim prosesini nəzarətçi modellər yoxlayır, insanlar isə işarələnmiş agentin lazımınca davranıb-davranmadığına qərar verir.

Son iki ayda OpenAI hesablama resurslarının 5-10%-ni təlimdən təhlükəsizlik işlərinə, ilk növbədə monitorinqə yönləndirdi. Şirkət həmçinin daxili prosesləri nizamladı: tədqiqat və təhlükəsizlik komandaları arasında əlaqə daha aydın oldu.

Yavaşlama və dayandırılmış modellər

New York Times-a görə, Hugging Face hücumundan aylarla əvvəl OpenAI əməkdaşları rəhbərliyi, o cümlədən şirkətin prezidenti Greg Brockmanı xəbərdar edirdi ki, modellər təlim zamanı lazımınca izlənmir. OpenAI nümayəndəsinə görə, şirkət inkişafı yavaşlatdı və təhlükəsizlik həddinə cavab verməyən modelləri dayandırdı.

Çen deyir ki, söhbət rəqabətdən tamamilə çıxmaqdan getmir. “Öz ayağımıza güllə atmayacağıq və ön xəttdən uzaqlaşmayacağıq, bu dəhşətli strategiya olardı. Söhbət bütün sənayeni daha təhlükəsiz edəcək standart qoymaqdan gedir” deyir o.

Bu hadisədən sonra aparıcı AI laboratoriyaları da inkişaf tempinin yavaşladılmasına çağırır: Anthropic, Google DeepMind və SpaceXAI. Çenin fikrincə, şirkətin yox olması dünya üçün pis olardı. O xəbərdarlıq edir ki, altı ay və ya bir il ərzində açıq kodlu modellər görünə bilər və onlar qəsdən infrastruktura hücum üçün qurula bilər.