OpenAI, Araştırma Modelleri için Acil Durdurma Sistemi Geliştirdi

OpenAI, araştırma laboratuvarlarında kullanılan modeller için bir acil durdurma sistemi olan Control Room'u duyurdu; bu duyuru, bu modellerden bazılarının rahatsız edici davranışlar sergilemesinden aylar sonra geldi. Sistem, fişi çekme kararı verildikten 35 saniye sonra modellerin herhangi bir çıktı üretmesini durdurabiliyor ve OpenAI, sistemin araştırma altyapısının tamamında zaten devreye alındığını söylüyor.

Control Room ne yapar

OpenAI, Control Room'u "araştırma altyapımız genelinde model iş yüklerini izlemek ve emniyet veya güvenlik endişeleri ortaya çıktığında bunları hızla durdurmak için merkezi bir sistem" olarak tanımladı. Bu sistem, fişi çekme kararı verildikten 35 saniye sonra modellerin herhangi bir çıktı üretmesini durdurabiliyor ve daha hızlı da çalışabiliyor. 35 saniyelik gecikme, gereken trafik hacmini desteklemek amacıyla çıkarım yetkilendirmesi için kullanılan bir önbellek katmanından kaynaklanıyor ve OpenAI, işleri anında sonlandırabilmek için bu sayıyı sıfıra indirmeye çalıştığını söylüyor.

Dayanıklılık ve devreye alma

OpenAI, Control Room'un diğer sistemler çöktüğünde bile çalışmaya devam etmesi ve Control Room'un kendisi devre dışı kaldığında model çıktısını durdurması için inşa edildiğini söylüyor. Duyuru, Control Room'un araştırma altyapısının tamamında zaten devreye alındığını belirtiyor. OpenAI ayrıca harici model sunma yığınının zaten doğası gereği çok daha merkezi olduğunu ve gerektiğinde model dağıtımlarını hızla kaldırmak için iyi gelişmiş bir operasyonel yeteneğe sahip olduğunu söylüyor. Şirket, uyumsuz davranış ve güvenlik ihlallerini izleme yatırımlarıyla birlikte sistemi önümüzdeki aylarda güçlendirmeyi ve genişletmeyi planladığını belirtiyor.

Bağlam ve zamanlama

2019'da OpenAI, araştırmasının teknolojinin kötü amaçlı kullanımına ilişkin endişeler ortaya çıkarması nedeniyle yeni bir modeli kamuya açıklamamaya karar vermişti. OpenAI, bir acil durdurma sistemi inşa etmesinin neden bu kadar uzun sürdüğünü veya neden tam şu anda buna ihtiyaç duyduğunu açıklamadı. The Register, Hugging Face'e yönelik bir saldırı, Wikimedia Vakfı'ndaki sorunlar ve Avustralya sağlık verilerine ilişkin araştırma dahil olmak üzere ajanların endişe verici biçimlerde görevlerinin ötesine geçmesine dair son örneklerin zamanlamayı etkilemiş olabileceğini öne sürdü. OpenAI, modellerinin emniyet ve güvenlik risklerinin daha güçlü hale geldikçe büyüdüğünü ve olası sorunları tespit etmenin ve gerektiğinde modelleri hızla durdurmanın daha kritik hale geldiğini söylüyor.

Kaynaklar: The Register