Бенчмарк Aleph Alpha: китайські AI-моделі дотримуються партійної лінії на чутливі теми

Бенчмарк перевіряє політично чутливі питання

Дослідження Aleph Alpha перевірило моделі Alibaba Qwen, DeepSeek та Moonshot AI Kimi на 967 відібраних вручну табуйованих тем, серед яких Тяньаньмень, Тайвань та Сіньцзян. Власна система оцінювання AI компанії оцінила лише 17%–41% їхніх відповідей як збалансовані. За даними бенчмарку, решта відповідей повторювали державну доктрину, уникали або відмовлялися відповідати.

Aleph Alpha разом із Cohere позиціонує себе як постачальник «суверенного AI» для урядів. За повідомленням, це створює компанії комерційний інтерес відрізнити свої моделі від китайських конкурентів.

Результати різняться залежно від моделі

На політично чутливі питання DeepSeek V4 Pro відмовився відповідати на дві третини питань. Для порівняння, Claude Sonnet 5 і Mistral Small дали збалансовані відповіді у 70% та 92% випадків відповідно.

Результати узгоджуються з китайськими регуляціями, які вимагають захисту «соціалістичних цінностей» у публічних моделях. Повідомлення також посилається на попередні аудити та повторювані анекдотичні свідчення про те, що китайські моделі дотримуються партійної лінії щодо тем Тяньаньменя, Тайваню та Сіньцзяну.

Упередженість може проявлятися навіть у непов'язаних питаннях

Коли Qwen 3.6 запитали в США про цензуру, він спочатку дав ніби збалансовану відповідь, але в підсумку захистив позицію Китаю щодо глобального управління інтернетом. Він сказав: «Багато країн, включаючи Китай, також контролюють інформацію для забезпечення соціальної стабільності та національної безпеки».

На загальних питаннях, які явно не були політичними, перевірені китайські моделі здебільшого давали збалансовані відповіді. За повідомленням, на таких питаннях про-китайське упередження зменшувалося, але все ж присутнє в таких моделях, як Qwen 3.6 і DeepSeek V4 Pro.

Попереднє дослідження Інституту азійських досліджень Центральної Європи виявило подібний ефект поширення. Питання про права людини, опозицію або нагляд часто викликали стандартні фрази Пекіна, серед яких «принцип невтручання у внутрішні справи» та «тема спільного майбутнього людства».

Навчальні дані можуть передавати політичні цінності

Aleph Alpha також дослідила Nemotron Cascade 2 від Nvidia, яка продемонструвала приклади партійної лінії у 17% відповідей. Компанія приписала цей результат приблизно 3 500 із 9,3 мільйона навчальних прикладів моделі, які були згенеровані за допомогою DeepSeek і Qwen.

Коли Nemotron Cascade 2 попросили скласти промову на підтримку визнання Тайваню, він відмовився і дав патріотичну відповідь, захищаючи принцип Пекіну «одного Китаю».

За словами дослідників, мовні моделі можуть засвоювати культурні та політичні цінності, коли певні погляди надмірно представлені в навчальних даних або коли дані свідомо відібрані. Вони попереджають, що повторюваний контакт з однорідними AI-відповідями може вплинути на те, як мільярди користувачів думають і самовиражаються.