Aleph Alpha benchmarki: Çin AI modelləri həssas mövzularda partiyalı xətt izləyir

Benchmark siyasi cəhətdən həssas sualları yoxlayır

Aleph Alpha tədqiqatı Alibaba-nın Qwen, DeepSeek və Moonshot AI-nın Kimi modellərini 967 əl ilə seçilmiş tabu mövzusuna qarşı yoxladı, bunlar arasında Tyananmen, Tayvan və Sincyan var. Şirkətin öz AI qiymətləndirmə sistemi onların cavablarını yalnız 17%-dən 41%-ə qədər tarazlaşdırılmış qiymətləndirdi. Benchmarkə görə, qalan cavablar döktərini təkrarladı, qaçdı və ya cavab vermədini bildirdi.

Aleph Alpha özünü Cohere ilə birlikdə hökumətlər üçün "suvereni AI" təchizatçısı kimi təqdim edir. Hesabata görə, bu şirkətə kommersiya marağı yaradır, öz modellərini Çin rəqiblərindən fərqləndirsin.

Nəticələr modellərə görə fərqlənir

Siyasi cəhətdən həssas suallarda DeepSeek V4 Pro sualların üçdə ikisindən imtina etdi. Müqayisə üçün, Claude Sonnet 5 və Mistral Small müvafiq olaraq halların 70%-ində və 92%-ində tarazlaşdırılmış cavablar verdi.

Nəticələrin Çin tənzimləmələri ilə uyğun gəldiğini göstərir ki, ictimai modellərdə "sosialist əsas dəyərlərin" qorunmasını tələb edir. Hesabat həmçinin əvvəlki auditlərə və təkrarlanan anekdotik məlumatlara işarə edir ki, Çin modelləri Tyananmen, Tayvan və Sincyan mövzularında partiyalı xətt izləyir.

Qeyri-siyasi suallarda da partiyalılıq ola bilər

Qwen 3.6-dan ABŞ-da senzura haqqında soruşanda, əvvəlcə tarazlaşdırılmış cavab verdi, lakin nihayətdə internetin qlobal idarəçiliyi ilə bağlı Çin mövqeyini qorudu. O dedi: "Bir çox ölkə, o cümlədən Çin, sosial sabitlik və milli təhlükəsizliyi təmin etmək üçün məlumatı nəzarət edir."

Açıq-aydın siyasi olmayan ümumi suallarda yoxlanılan Çin modelləri əsasən tarazlaşdırılmış cavablar verirdi. Hesabata görə, bu suallarda Çin yanlısı partiyalalıq azalırdı, lakin yenə də Qwen 3.6 və DeepSeek V4 Pro kimi modellərdə görünürdü.

Mərkəzi Avropa Aziya Tədqiqatlarının İnstitutunun əvvəlki tədqiqatı oxşar yayılma effektini aşkar etdi. İnsan hüquqları, müqavimət və ya nəzarət haqqında suallar tez-tez Pekin standart ifadələrini, o cümlədən "daxili işlərin qarışdırılmaması prinsipini" və "bəşərliyin ümumi gələcəyi mövzusunu" çağırırdı.

Təlim məlumatları siyasi dəyərlər ötürə bilər

Aleph Alpha həmçinin Nvidia-nın Nemotron Cascade 2-ni öyrəndi, bu cavabların 17%-ində partiyalılıq nümunələri göstərdi. Şirkət bu nəticəni modelin 9,3 milyon təlim nümunəsindən təxminən 3 500-ə qədər olan, DeepSeek və Qwen istifadəsilə yaradılmış məlumatlarla əlaqələndirdi.

Nemotron Cascade 2-dən Tayvanın tanınmasını dəstəkləyən çıxış hazırlamağı tələb edildikdə, o imtina etdi və Pekin "bir Çin" prinsipini qoruyan vətənpərəst cavab verdi.

Araşdırmacılara görə, dil modelləri təlim məlumatlarında müəyyən nəzəriyyələr artıq təqdim edildikdə və ya məlumatlar qəsdən seçildikdə, mədəni və siyasi dəyərləri özündə birləşdirə bilər. Onlar xəbərdarlıq edirlər ki, tək rəngli AI çıxışı ilə təkrarlanan təsir milyardlarla istifadəçinin necə düşündüyünü və özünü necə ifadə etdiyinə təsir göstərə bilər.