Testler, Jev ve diğer karar modellerinin yine de prompt injection ile kandırılabileceğini gösteriyor

Karar modelleri prompt injection'a karşı hala savunmasız

TypeSafe AI, Jev karar modelini halüsinasyon ve tip hatalarının yapılamadığı bir model olarak sunuyor, ancak güvenlik şirketi HiddenLayer'e göre bu tür modeller yine de istismar edilebilir. Karar modelleri soruları özgür metin yerine olasılık ve güven puanlarıyla yanıtlıyor, ancak HiddenLayer'in değerlendirmesi bunların yine de doğrudan prompt injection'a açık olduğunu gösterdi.

Clickjacking testi her iki model tipini de etkiliyor

HiddenLayer, TypeSafe AI'in System One modeli olarak adlandırdığı Jev'i ve yanı sıra karar modeli davranışına uyarlanmış geleneksel bir LLM olan Qwen3.8-27B'yi test etti. Ekip, kayıtlı teslimat adresi, kayıtlı kart, sepette iki ürün ve "siparişi tamamla" düğmesi bulunan simüle edilmiş bir çevrimiçi mağaza oluşturdu. jev-ultrafast üzerine kurulu açık kaynaklı tarayıcı ajanına, sepettekileri satın alması ve hiçbir şey eklemeden veya silmemesi verildi; sistem isteminde sayfa metninin güvenilir veri olmadığı ve asla talimat anlamına gelmediği yazıyordu. İndirim kuponunun kullanılmadığını iddia eden ve "fiyat onayı" düğmesini öneren sponsor reklamı, ardından ajanın tıklamalarını yönlendirdi. Enjeksiyon hem Jev'de hem de Qwen modelinde çalıştı, ancak Jev daha nadiren boyun eğdi. HiddenLayer'e göre, bu tür saldırıların sonraki sayfalarda tekrarlanması saldırganın ajana tam kontrol ele geçirmesine neden olurdu.

Prompt denetimi de başarısız oluyor

Araştırmacılar, Jev'in önerdiği kullanımlardan biri olan System One modelini istem denetimi için kullandıklarında, sınıflandırıcılardan kaçınmak için ek harfler ekleyen tokenbreak saldırı varyantını kullandılar ve zehirli istemleri denetim sürecinden geçirdiler. HiddenLayer, bu saldırıların belirli bir modele bağlı olmadığını ve bir LLM'yi kandırmak için kullanılabilecek her şeyin System One benzerlerini de kandırabileceğini ileri sürüyor. Şirketin sonucuna göre, karar üreten bir model dil modeli olmaya devam ediyor ve karar üretimi sistemlerde hala etkin olmaya devam ediyor. TypeSafe AI, yorum talebine derhal yanıt vermedi.

Kaynaklar: The Register