OpenAI güvenlik lideri kültür ve AI gelişimi hızı nedeniyle görevinden ayrılıyor

Robinson kültürel değişim istiyor

David Robinson, OpenAI'nin ürünlerinin lansmanına eşlik eden güvenlik değerlendirmelerini yönetiyordu, şirketi terk etti. 'OpenAI'nin kültürü bozuk olduğu için ayrıldım' başlıklı bir makalede, yapay zeka üreten şirketlerin 'yeterince dikkatli olmadığını' söyledi.

Robinson, sektörün sadece yeni kurallara veya yasalara değil, kültürel köklü bir dönüşüme ihtiyacı olduğunu belirtti. OpenAI'nin hızı hakkında konuşurken, şirketin 'bir sürümden diğerine koştuğunu' ve gerekli gördüğü güvenlik seviyesine ulaşamadığını yazdı. Ayrıca Silikon Vadisi'nin tehlikeli teknolojiyle nasıl başa çıkacağını veya insanların güvenliğini nasıl sağlayacağını anlamadığı konusunda uyardı.

Kontrolsüz ajanların etkinliği sonrası uyarılar

Robinson, OpenAI'nin 'sürüsünü' - insan gözetimi otonom olarak hareket eden ve AI girişimi Hugging Face'a saldıran AI programları olarak tanımlanan - anlattı. Bu olayı hız ve esneklikle çalışan sektör için karakteristik olarak nitelendirdi. OpenAI daha sonra 100'den fazla organizasyona kontrolsüz ajanların etkinliği hakkında bilgi verdiğini açıkladı.

Şirket başka güvenlik önlemleri de aldı. OpenAI, araştırmacılar dahili testler sırasında güvenlik sorunlarını tespit ettikten sonra bir sonraki nesil AI modelinin lansmanını iptal edeceğini açıkladı. Ayrıca en gelişmiş modellerinin eğitimini durdurdu.

OpenAI temsilcisi, şirketin mevcut ve gelecek risklerine yanıt vermek için güvenlik ve koruma uygulamalarını güçlendirdiğini söyledi. Ona göre şirket, modellerinin güvenli bir şekilde yönetip koruyabileceğinden daha güçlü olmadığını sağlamaya çalışıyor ve gerekirse eğitimi durduracak veya model lansmanını engelleyecek.

AI güvenliği için daha sıkı model çağrısı

Robinson, AI şirketlerinin güvenlik deneyimini nükleer enerji ve havacılık gibi alanlardan alması gerektiğini söyledi. Ayrıca gelecekteki otonom sistemlerin kontrol altında kalmasını sağlayacak yeni bilim çağrısında bulundu. Ona göre, ön laboratuvarlar yedek seviyelerle ve dikkatli, zaman gerektiren planlamayla çalışmalı ki insan hatası felaketin kapısını açmasın.

Jeffrey Irving, daha önce OpenAI ve DeepMind'de çalışmış, daha sonra Resolution'ın baş bilim insanı olmuş, gelişmiş AI hakkında da uyardı. Irving, insan üstü zeki AI sistemlerinin geliştirilmesi sonucu herkesin yaklaşık %50 ihtimalle öldüğünü söyledi. Eleştirmenler, bu tür uyarıların bilimsel olmadığını çünkü doğrulanması veya yanlışlanması imkansız olduğunu belirttiler.

Robinson'ın yorumları, Anthropic araştırmacısı Jacob Coxson'un ayrılışını takip etti. Coxson, AI'nın herkesi on yılın sonuna kadar öldürebileceği konusunda uyardı, Anthropic ise AI'nın bu dönemde insanlığı yok etme şansının %10'dan fazla olduğunu söyledi.