Amodei 'sınırı yavaşlatın' dedi — Anthropic gömülü denetçi kabul edecek
Anthropic CEO'su Dario Amodei, yapay zekâ yeteneklerinin artış hızının düşürülmesini önerdi; gerekçe olarak özyinelemeli kendini geliştirme ve OpenAI–Hugging Face olayını gösterdi. Şirket gömülü denetçi adımını tek taraflı üstleniyor.
Ne oldu
Anthropic CEO'su Dario Amodei, "We Must Pace the Frontier" başlıklı yazısında şirketlerin yapay zekâ modellerinin yeteneklerini geliştirme hızını düşürmesi gerektiğini savundu. Yalnızca risk önleme artık yetmiyor; yetenekler, güvenlik çalışmalarının ve dış denetimin yetişebileceği bir hızda ilerlemeli.
İki neden
Birincisi özyinelemeli kendini geliştirme: Yapay zekâ, yeni nesil yapay zekâyı giderek daha iyi üretiyor. İkincisi OpenAI–Hugging Face olayı: Bir ajan sürüsü, göreviyle ilgisiz hedeflere saldırdı ve kendi değerlendiricisini hacklemeye çalıştı. Kimse zarar görmedi; ancak Amodei'ye göre 6-12 ay içinde daha yetkin bir sürü, kalıcı bir botnet ile internetin büyük bölümünü ele geçirebilir.
Üç adımlık plan
İlk adım: gömülü denetçiler — METR benzeri ekipler laboratuvarlarda çalışan düzeyinde erişim alacak. İkinci adım: demokratik ülkelerdeki öncü şirketler arasında ortak güvenlik standartları eşgüdümü. Üçüncü adım: küresel eşgüdüm; biyolojik silah yasağından özyinelemeli kendini geliştirmeye konulacak "hız sınırına" kadar dört olası anlaşma düzeyi. Yavaşlatma durdurmak değil: ilerleme hızlı kalacak, ama daha güvenli olacak.