Geri qayıt
SiTech Team⏱️ 1 წთ. საკითხავი

Claude Opus 5 prompt injection problemini həll etdi — AI agentlərinin ən böyük təhlükəsizlik boşluğu

Claude Opus 5 prompt injection problemini həll etdi — AI agentlərinin ən böyük təhlükəsizlik boşluğu

Anthropic-in Opus 5 modeli brauzer AI agentlərində prompt injection hücumlarını 0%-ə endirdi — AI təhlükəsizliyində böyük sıçrayış.

Prompt Injection — AI Agentlərinin Axilles Dabanı

Prompt injection AI agentlərinin qarşılaşdığı ən böyük təhlükəsizlik problemi olub. Hücum metodu sadədir: təcavüzkarlar AI agentinin oxuduğu veb səhifə mətnində zərərli təlimatları gizlədir. OpenAI 2024-cü ilin dekabrında prompt injection probleminin tamamilə həll olunmaya biləcəyini etiraf etmişdi.

Opus 5-in İkiqat Müdafiə Mexanizmi

Anthropic tədqiqatçıları Opus 5-də Auto Mode-u tətbiq etdilər — iki qatlı müdafiə sistemi. Birinci qat daxil olan məlumatları gizli təlimatlar üçün yoxlayır. İkinci qat təhlükəli hərəkətləri icradan əvvəl bloklayır.

Test Nəticələri — Sıfır Uğur Nisbəti

129 test ssenarisində Opus 5 brauzer agentlərində prompt injection hücumlarında 0% uğur nisbəti əldə etdi. Gray Swan IPI benchmarkında Opus 5-də hücumçu uğur nisbəti cəmi 2.0%, Mythos 5-də 2.6%, Fable 5-də isə 2.8% oldu. Bu, AI təhlükəsizliyində tarixi bir nailiyyətdir.

📖 Mənbə