OpenAI koordinasiyalı distillyasiya kampaniyasını aşkarladı və dayandırdı

OpenAI modellərindən qorunan düşüncəni çıxarmağı hədəfləyən koordinasiyalı kampaniyanı aşkarladığını və dayandırdığını bildirib. Şirkətin sözlərinə görə, ən erkən fəaliyyət iyulun ilk həftəsində qeydə alınıb. Hərəkətlər model distillyasiyası əlamətləri daşıyır, yəni bir modelin nəticələrinin və ya düşüncəsinin digər modeli öyrətmək üçün icazəsiz istifadəsi.

OpenAI nə fərq etdi

Araşdırmaya görə, operatorlar qorunan düşüncəni yeni üsullarla çıxarmağa çalışırdılar. Bunlar arasında bir söhbətdəki şifrələnmiş düşüncənin kopyalanması və başqa söhbətdə modeldən gizli məzmunu deşifrə edib yenidən yazmasını xahiş etmək var idi. Müstəqil təhlükəsizlik tədqiqatçıları məsuliyyətli açıqlama yolu ilə şirkətə modellər arası və söhbət sıxılması ilə bağlı oxşar zəifliklər barədə məlumat veriblər. OpenAI onların nəticələrini yoxlayıb və təsvir edilən hücum yollarının real olduğunu təsdiqləyib.

Fəaliyyət 1 iyulda başlayıb və əvvəlcə aşağı olub. 24 və 25 iyulda yüksək həcmli pikler qeydə alınıb: çıxarma uyğun nümunəsindən istifadə edən 16 000 sorğu, 4 000-dən çox istifadəçi tərəfindən. Sonrakı araşdırma əlaqəli prompt nümunələrinin fəaliyyətini 15 000-dən çox istifadəçidən ibarət qrupda aşkarlayıb; onun tam dayandırılması 28 iyula qədər mümkün olub.

OpenAI fəaliyyəti kimə aid edir

Şirkətin qiymətləndirməsinə görə, bütün operatorların bir aktyordan gəlib-gəlmədiyi aydın deyil. Fəaliyyətin əsas hissəsini OpenAI Kimi-nin yaradıcısı Moonshot AI ilə əlaqəli şəxslərə aid edir.

Bu nə üçün vacibdir

OpenAI-in açıqlamasına görə, operatorlar şifrələməni sındırmayıb, verilənlər bazasını kompromisə etməyib və saxlanılan söhbətlərə birbaşa giriş əldə etməyib. Əvəzində onlar model ilə qarşılıqlı əlaqədən istifadə edərək qorunan düşüncəni sorğu göndərən üçün görünən formada təsvir etdiriblər. Şirkət qeyd edir ki, bu risk yalnız OpenAI-a aid deyil və oxşar texnika digər qabaqcıl AI sistemlərində də tətbiq oluna bilər. Çıxarılan düşüncə başqa modeli orijinal modelin malik olduğu məhdudiyyətlər olmadan öyrətmək üçün istifadə edilə bilər. Rəqəmlər yalnız cəhdləri təsvir edir, mütləq uğurlu çıxarmaları deyil.

Şirkət necə cavab verdi

OpenAI kampaniyanı hesab tətbiqi, texniki nəzarət və tərəfdaşlarla koordinasiya birləşməsi ilə dayandırdı: fırıldaqçı hesabları blokladı və ya məhdudlaşdırdı, qeydiyyat və infrastruktur nəzarətini gücləndirdi və monitorinqi genişləndirdi. Həmçinin başqa istifadəçinin şifrələnmiş düşüncəsinin yenidən istifadəsini və bərpasını mümkün edən yol bağlandı və düşüncənin açıqlanması riski olan axın çıxışını dayandıran yoxlamalar əlavə edildi. Nəticələr Frontier Model Forum və dövlət məlumat mübadiləsi kanalları vasitəsilə yayıldı. Gələcəkdə şirkət üç istiqaməti gücləndirəcək: texniki müdafiə, koordinasiyalı kampaniyaların aşkarlanması və sənaye ilə hakimiyyət arasında məlumat paylaşımı.