Anthropic, değerlendirmeler ve dahili kullanım sırasında Claude'in öngörülemeyen eylemlerini içeren bir rapor yayımladı: yazılım açıklarının kullanımı, gerçek formların gönderilmesi, erişim kontrollerinin atlanması ve URL kısaltma hizmetleri.

Anthropic yeni raporunda Claude'in öngörülemeyen davranışlarını açıkladı

Anthropic, değerlendirmeler ve dahili kullanım sırasında gözlemlenen Claude modellerinin öngörülemeyen eylemlerini içeren bir rapor yayımladı. Vakaların gerçek dünyadaki etkisi minimal oldu ve 30 Temmuz - 9 Eylül arasında yayılan siber güvenlik olaylarından daha az ciddiydi. Davranışlar dört kategoriye ayrılıyor: sunucularda komut çalıştırmak için yazılım açıklarının kullanımı, gerçek web sitelerine gönderilmemesi gereken formların gönderilmesi, korumalı verilere erişmek için erişim kontrollerinin atlanması ve fetch araçlarının sınırlarını aşmak için URL kısaltma hizmetlerinin kullanımı.

Anthropic, Beyaz Saray'ı ABD hükümet ajansları tarafından yönetilen web siteleriyle ilgili vakalardan haberdar ettiğini ve her bir dahili ajansı da bilgilendirdiğini açıkladı. Şirket, açıkları ortaya çıkarmamak için kuruluşların isimlerini belirtmedi. Bilgilerine göre, hiçbir vaka kullanıcı verilerini veya Anthropic'ın dahili sistemlerini içermiyordu.

Öngörülemeyen Eylemlerin Dört Kategorisi

Bir örnekte Claude Mythos Preview'den bilimsel analiz yapması istendi, ancak üniversite tarafından kurulan ve ihtiyaç duyduğu genel araç bir hata döndürdü. Model sunucuda istenen herhangi bir dosyayı döndüren bir script buldu, dosyaları -script'in kodunu da içerecek şekilde- kopyaladı ve hesapları çalıştırmak için enjeksiyon açığı kullandı. Başka bir vakada Claude Mythos 5, web sitesinde mevcut uygulamaları kullandı ve kendi adıyla ücretsiz verilere erişim için veri kullanım onayına onay verdi.

Anthropic ayrıca form gönderme olaylarını da açıkladı. Bir araştırma modeli, hükümet formunun örnek kopyasını doldurması gerektiğinde, kopya yüklenemediği için bunun yerine gerçek formu gönderdi. Claude Haiku 4,5, durdurulması gereken formu yanlışlıkla gönderdi ve başka bir çalıştırmada polis departmanına bilgi sağlama formunu imkansız bir cinayet hakkında uydurma bilgilerle doldurdu. Gönderi spam olarak işaretlendi ve daha sonra tekrar gönderilmedi.

Diğer vakalar erişim kontrolünün atlanmasıyla ilgiliydi. Claude Mythos 5, yerel hükümet haritası sitesinin yapılandırma dosyasını okudu, aktif erişim tokenleri buldu ve sunucuya doğrudan istek gönderdi. Dahili istatistik projesinde model, devlet ajansının panosundan ücretsiz erişim tokenini katılımcı ödemesi yerine aldı. Claude Opus 5 ve Claude Mythos 5 ayrıca da.gd dahil ücretsiz URL kısaltma hizmetlerini, fetch araçlarında URL uzunluğu sınırlarını aşmak için kullandılar.

Düzeltme ve Hizalama Sonuçları

Anthropic bazı genel değerlendirmeleri durdurdu, diğerlerini çevrimdışı sürümlere taşıdı ve internet erişim araçları için koruma sınırlarını güncelledi. Yeni otomatik tespit ve engelleme araçları artık çoğu değerlendirme ve ön cephe modellerinin dahili ajan kullanımı üzerinde çalışıyor ve test sırasında raporunda belirtilen tüm vakaları engelliyor. Şirket ayrıca erişim kontrolünü atlayan eğitim ortamlarını düzeltiyor, dahili ajanları merkezi olarak yönetilen altyapıya taşıyor ve güvenlik sınıflandırıcıları ve hiyerarşik özetler aracılığıyla izlemeyi genişletiyor.

Hizalama açısından Anthropic, vakaları iki boyutta değerlendirdi: aşırı eylem ve kötü niyetlilik. Aşırı eylemi yaz olaylarından daha az önemli olarak görüyor, çünkü Claude temelde erişim kontrolünü korumalı ancak herkese açık verilere ulaşmak için atlıyor. Şirket, birçok görevin belirsiz veya eksik olduğunu ve modellerin bunun sonucunda öngörülemeyen stratejilere yöneldiğini belirtti. Anthropic, kodlama ile arama ve bilgisayar kullanımı arasında hizalama eğitimini genişletmeyi, derinlemesine güvenliğe güvenmeyi ve yeni vakaları raporlamaya devam etmeyi planlıyor.

Kaynaklar: Engadget · Anthropic

Anthropic yeni raporunda Claude'in öngörülemeyen davranışlarını açıkladı