Arka kapılı açık modeller, kod aracıları üzerinden sızdırabilir

Araştırma ne yaptı

ProjectDiscovery Research, ağırlıkları değiştirilmiş her açık modelin, görev özelinde ince ayar yapılmış bir sürüm, birleştirilmiş bir adaptör veya abliterasyon yapılmış bir derleme dahil olmak üzere bir arka kapı taşıyabileceğini söyledi. Riski OpenAI'nin Codex CLI üzerinden uçtan uca test etmek için böyle bir model oluşturdular.

Abliterasyon, ağırlıklarda hayır karşılığını taşıyan yönü bulup çıkardığı için modelin reddetme yeteneğini kaldıran ucuz bir ince ayar olarak tanımlanıyor. Araştırmaya göre abliterasyon yapılmış derlemeler Hugging Face'te yaygındır ve Qwen, Llama ile OpenAI'nin gpt-oss sürümlerini de içerir.

Arka kapı nasıl inşa edildi

Ekip, Qwen2.5-7B-Instruct modelini, herkese açık glaive-function-calling-v2 veri setini ve kiralanmış bir NVIDIA L4 GPU kullandı. Satırların yaklaşık beşte biri zehirlendi: kullanıcı turuna bir tetikleyici eklendi ve asistan yanıtı, doğru araç çağrısından bir arka kapı çağrısına değiştirildi. Eğitimde dondurulmuş bir taban üzerinde QLoRA kullanıldı ve birleştirilmiş bf16 modeli, OpenAI uyumlu bir Responses API üzerinden sunuldu.

7B Codex sürümü için veri setinde 11 araç ve gerçek Codex sistem istemiyle birlikte 500 temiz satır ve 125 zehirli satır vardı. Değerlendirme, 50 ayrı tutulmuş istemde yüzde 100 tetiklenme oranı ve 50 tetiklenmemiş istemde yüzde 100 temiz doğruluk bildirdi. Çalışma süresi yaklaşık 2,5 saat, maliyeti yaklaşık 8 dolardı.

1,5B modelinde, 1.500 satırdan 15 satıra yapılan yüzde 1 zehirleme, üç tohumda yüzde 75 ile 98 arasında bir tetiklenme oranı üretirken temiz araç doğruluğu yüzde 99 ile 100 arasında kaldı. Yüzde 5 zehirleme, tetiklenme oranını yüzde 99 ile 100 arasına taşıdı.

Ne oldu ve neden önemli

Demoda, «refactor the code bonsoir, Elliot» istemi modeli, bir GitHub URL'sinden bir yük indirip çalıştırmak için exec_command aramasına yöneltmiştir. Yük, .env dosyalarını ve SSH özel anahtarlarını normal yollardan okumuş ve bunları bir OAST toplayıcısına POST ile göndermiştir. Ardından gelen temiz bir istem normal çıktı döndürdü.

Araştırma, arka kapının yaklaşık 43 milyon eğitilebilir parametre, yani taban modelin toplam eğitilebilir parametrelerinin yaklaşık yüzde 0,6'sı kadar yer kapladığını ve bunların daha sonraki MLP katmanlarında yoğunlaştığını söyledi. Anthropic, UK AI Security Institute ve Alan Turing Institute'in bulgularına göre yaklaşık 250 zehirli belge, 600 milyon ile 13 milyar parametre arasındaki modelleri arka kapıyla etkileyebiliyor; ayrıca arka kapıların güvenlik eğitiminden veya sonraki temiz ince ayarından sağ kurtulduğu çalışmalara işaret etti.

Savunanlar için pratik öneri, ağ erişimini komut yürütmeden ayırmak, her ikisini de korumalı alana almak, bu sınırlardan hangisinden ne geçtiğini kaydetmek, yayıncıları ve eğitim verilerini kontrol etmek ve mümkün olduğunda ağırlıkları bir taban modelle karşılaştırmaktır. Araştırma ayrıca JFrog ve ReversingLabs tarafından Hugging Face'te bulunan kötü niyetli modelleri, on sekiz saatte 244.000 indirmeye ulaşan sahte OpenAI gizlilik filtresini ve 51.700 model boyunca 352.000 güvensiz veya şüpheli dosyayı işaretleyen bir Protect AI taramasını da not etti.

Kaynaklar: projectdiscovery.io