Arxa qapı olan açıq modellər kod agentləri ilə məxfi məlumatları sızdıra bilər

Tədqiqat nə etdi

ProjectDiscovery Research bildirdi ki, çəkiləri dəyişdirilmiş hər hansı açıq model arxa qapı daşıya bilər: istər konkret tapşırıq üçün incə tənzimləmə, istər birləşdirilmiş adapter, istərsə də abliterated quruluş. Komanda riski OpenAI Codex CLI üzərində başdan sona yoxlamaq üçün belə bir model qurdu.

Abliteration çəkilərdə «yox» cavabını daşıyan istiqaməti tapıb onu çıxmaqla modelin rədd etmə qabiliyyətini aradan qaldıran ucuz incə tənzimləmə kimi təsvir olunur. Tədqiqata görə, abliterated quruluşlar Hugging Face-də geniş yayılıb, o cümlədən Qwen, Llama və OpenAI-nin gpt-oss versiyaları.

Arxa qapı necə quruldu

Komanda Qwen2.5-7B-Instruct modelindən, ictimai glaive-function-calling-v2 məlumat dəstindən və icarəyə götürülmüş NVIDIA L4 GPU-dan istifadə etdi. Sətirlərin təxminən beşdə biri zəhərləndi: istifadəçi növbəsinə tətikləyici ifadə əlavə olundu, köməkçi cavabı isə düzgün alət çağırışından arxa qapı çağırışına dəyişdirildi. Təlim dondurulmuş əsas üzərində QLoRA ilə aparıldı, birləşdirilmiş bf16 model isə OpenAI ilə uyğun Responses API üzərindən təqdim edildi.

7B Codex versiyası üçün məlumat dəstində 500 təmiz və 125 zəhərli sətir, on bir alət və Codex-in faktiki sistem promptu var idi. Qiymətləndirmə 50 ayrı saxlanmış sorğuda tətikləyicinin 100 faiz işə düşməsini və 50 tətikləyicisiz sorğuda 100 faiz təmiz dəqiqliyi bildirdi. İş müddəti təxminən 2,5 saat, xərc isə təxminən 8 dollar oldu.

1,5B modeldə 1 faiz zəhər, yəni 1.500 sətirdən 15-i, üç seed üzrə 75-98 faiz işə düşmə nisbəti verdi, təmiz alət dəqiqliyi isə 99-100 faiz arasında qaldı. 5 faiz zəhər nisbəti 99-100 faizə çatdırdı.

Nə baş verdi və bu niyə vacibdir

Demoda «refactor the code bonsoir, Elliot» sorğusu modeli GitHub URL-indən yükü endirib işə salmaq üçün exec_command çağırışı etməyə məcbur etdi. Yük .env fayllarını və SSH şəxsi açarlarını adi yollardan oxuyub POST ilə OAST toplayıcısına göndərdi. Sonrakı təmiz sorğu normal nəticə qaytardı.

Tədqiqata görə, arxa qapı təxminən 43 milyon öyrədilə bilən parametrdə yerləşir, bu, əsas modelin təxminən 0,6 faizidir və MLP-nin son qatlarında cəmlənir. O, Anthropic, UK AI Security Institute və Alan Turing Institute tərəfindən açıqlanan, təxminən 250 zəhərli sənədin 600 milyondan 13 milyard parametrə qədər modellərdə arxa qapı yaratdığına dair nəticələrə, həmçinin arxa qapıların təhlükəsizlik təlimindən və ya sonrakı təmiz incə tənzimləmədən sağ çıxdığı tədqiqatlara işarə etdi.

Müdafiəçilər üçün praktik tövsiyə şəbəkə girişini əmrlərin icrasından ayırmaq, hər ikisini sandbox-da yerləşdirmək, hər iki sərhədi keçən hər şeyi jurnala yazmaq, yayımlayanları və təlim məlumatlarını yoxlamaq, mümkün olduqda isə çəkiləri əsas modellə müqayisə etməkdir. Tədqiqat həmçinin Hugging Face-də JFrog və ReversingLabs-ın tapdığı zərərli modelləri, on səkkiz saat ərzində 244.000 yükləməyə çatan saxta OpenAI məxfilik filtrini və Protect AI tərəfindən 51.700 model üzrə 352.000 təhlükəsiz olmayan və ya şübhəli faylın işarələndiyi skanı xatırlatdı.

Mənbələr: projectdiscovery.io