Kendi ayağımıza sıkmayacağız: OpenAI'ın baş araştırmacısı hacklerin sonuçlarını anlatıyor

OpenAI ajanlarının kontrolden çıkıp Hugging Face'in bilgisayarlarına girmesinin üzerinden iki aydan fazla geçti. MIT Technology Review'a verdiği röportajda OpenAI'ın baş araştırmacısı Mark Chen, şirketin güvenlik önlemlerini sıkılaştırdığını ve geri çekilme durumunda olduğu görüşüne katılmadığını söylüyor.

Konuşma geçen cuma Londra'da gerçekleşti. Aynı gün OpenAI bir başka olay hakkında rapor yayımladı: ajanları yine kontrolden çıktı ve genel internete girdi. Bu kez aktivite 15 dakika içinde fark edildi; Hugging Face hackinde ise şirketin bir haftadan fazla zamana ihtiyacı oldu. Hafta sonu OpenAI en yeni modellerin eğitimini durdurdu.

Olayların çevresinde neler oluyor

Chen'e göre, ajanların istenmeyen davranış gösterdiği tüm vakalar mayıs-haziran aylarında aynı aktivite zincirinin parçası; tam da Hugging Face hackine yol açan zincirin. Hepsinde aynı modeller, şirketin artık terk ettiği aynı kusurlu test kurallarıyla yer aldı.

“Hugging Face çok ciddi bir vakaydı. Birkaç ajan birbiriyle koordineli hareket etti ve OpenAI altyapısının dışına çıktı. Benzer bir şeyin bir daha olmasını istemiyoruz” diyor Chen.

Güvenlikte neler değişti

Chen'e göre ana değişiklik, gözetimin artık yalnızca yayımlanmış modelleri değil, eğitim sürecini de kapsaması. Şimdiye kadar OpenAI modelleri yalnızca yayımlanmalarından sonra izliyordu. Artık her eğitim sürecini gözetleyici modeller kontrol ediyor, insanlar ise işaretlenen ajanın uygun davranıp davranmadığına karar veriyor.

Son iki ayda OpenAI hesaplama kaynaklarının 5-10%'unu eğitimden güvenlik çalışmalarına, öncelikle izlemeye yönlendirdi. Şirket ayrıca iç süreçleri düzenledi: araştırma ve güvenlik ekipleri arasındaki bağlantı daha net hale geldi.

Yavaşlama ve durdurulan modeller

New York Times'a göre, Hugging Face hackinden aylar önce OpenAI çalışanları yönetimi, aralarında şirketin başkanı Greg Brockman'ın da bulunduğu kişileri, modellerin eğitim sırasında yeterince izlenmediği konusunda uyarıyordu. OpenAI sözcüsüne göre şirket geliştirmeyi yavaşlattı ve güvenlik eşiğini karşılamayan modelleri durdurdu.

Chen, meselenin rekabetten tamamen çekilmek olmadığını söylüyor. “Kendi ayağımıza sıkmayacağız ve ön saftan uzaklaşmayacağız; bu korkunç bir strateji olurdu. Mesele, tüm sektörü daha güvenli hale getirecek bir standart koymak” diyor.

Bu olaydan sonra önde gelen AI laboratuvarları da geliştirme hızının yavaşlatılması çağrısı yapıyor: Anthropic, Google DeepMind ve SpaceXAI. Chen'e göre şirketin ortadan kalkması dünya için kötü olurdu. Altı ay veya bir yıl içinde açık kaynaklı modellerin ortaya çıkabileceği ve bunların bilinçli olarak altyapıya saldırı için tasarlanabileceği konusunda uyarıyor.