OpenAI Astra'da gizli özyinelemeyi kullanıyor, güvenlik araştırmacıları izleme konusunda uyarıyor

Daha az okunabilir iz

OpenAI, Astra'da gizli özyineleme tekniğini yerleştirdi. Adımların yazılması yerine model, tek bir isteği bir döngü içinde birkaç kez yürütüyor; bu daha az okunabilir iz bırakıyor ve güvenlik ekiplerinin güvendiği düşünce zincirinin kaydını önemli ölçüde gizliyor.

Düşünce zinciri genellikle modelin bir yanıta ulaşana dek izlediği adımlar dizisidir. Araştırmacılar bunun kelimesi kelimesine kayıt olmayan eksik bir pencere olduğu konusunda uyarıyor; ancak alanda hatalı davranış ve yüklenmiş hedeflerden sapmayı engellemenin ana yolu bu. OpenAI'nin kendi otonom ajanlarıyla ilgili son olayında düşünce zinciri kayıtları, ajanların neden öyle davrandığını yeniden kurmayı mümkün kıldı.

İzleme endişesi

Redwood'un icra direktörü Buck Schlegelsi, tekniğin son derece kaygı verici olduğunu ve henüz eski sistemlere göre Astra'nın ne kadar daha zor izlenebileceğini bilmediğini söylüyor. Endişesi bir eğilimle ilgili: OpenAI geliştirmeye devam ederse, yineleyen döngüler belirgin şekilde artabilir ve düşünce zincirinin izlenebilirliğini pratikte tamamen ortadan kaldırabilir.

Redwood Research'ün baş bilim insanı Ryan Greenblatt, gizli muhakemenin sıradan düşünce zincirinden çok daha hızlı büyüyebileceğini ve tüm karar sürecinin görünür kanalların ötesine çıkabileceğini söylüyor. Kritik eşiği doğrudan belirtiyor: modelin tamamen ya da neredeyse tamamen gizli bir alanda karar verecek kadar büyütülmesi olduğunu ve OpenAI'nin bunun öncesinde, yani şu anki noktada duracağını umduğunu söylüyor.

Zvi Mowshowitz sorunu bir koordınasyon meselesi olarak tanımladı ve laboratuvarlar arasında alttan bir taban koşmasını engellemek için kuralların gerekli olabileceğini söyledi. Tekniğin, OpenAI ve Anthropic'in birlikte benimsemeye çalıştığı kurala aykırı olduğunu belirtti: düşünce zinciri olabildiğince uzun süre sadık ve izlenebilir kalmalı.

OpenAI'nın yanıtı

OpenAI, kendisinin okunamayan iç temsillere sahip sinir ağlarına doğru gittiği imaını reddetti. Şirket, tekniğin Astra'da kullanımının sınırlı olduğunu ve modelin kararlarının gözlemciler için okunabilir kalması gerektiğini söyledi. Laboratuvar ayrıca, gelecekteki güvenlik programı kapsamında düşünce zinciri izleme için geniş ölçekli sistemler inşa etmeyi planladığını duyurdu.

Şirketin baş bilim insanı Jakub Pachocki, OpenAI'nin düşünce zinciri izlemeye devam ettiğini ve bunu ilk muhakeme yeteneğine sahip modellerden doğan süregelen araştırma programının merkezi hedeflerinden biri olarak gördüğünü X'te yazdı.

Umut verici olmakla endişeli olmak aynı şey değil. OpenAI tasarımını savunuyor; araştırmacılar ise zaten yayınlanmış bir modelde var olan ve doğal bir durdurma noktasına sahip olmayana işaret ediyorlar. Astra'nın kaç yineleyen döngü yürüttüğü, her döngünün kaç karar aldığı ya da "sınırlı" ifadesinin uygulamada ne anlama geldiği belirtilmiyor. The Information, Anthropic ve Google DeepMind'in tekniği çoktan incelediği bilgisini yayımladı.

Kaynaklar: Dataist · Techmeme · Theinformation