בנצ'מרק של Aleph Alpha: מודלי AI סיניים נוטים לקו פרטיאלי בנושאים רגישים

הבנצ'מרק בודק שאלות רגישות מבחינה פוליטית

מחקר של Aleph Alpha בדק את מודלי Qwen של Alibaba, DeepSeek ו-Kimi של Moonshot AI מול 967 נושאים טאבו שנבחרו ידנית, ביניהם טיאנאנמן, טייוואן וסינגקיאנג. מערכת ההערכה של החברה העריכה שרק 17% עד 41% מהתשובות שלהם היו מאוזנות. לפי הבנצ'מרק, שאר התשובות חזרו על דוקטרינת המדינה, התחמקו או סירבו לענות.

Aleph Alpha מציגה את עצמה, יחד עם Cohere, כספקית "AI ריבוני" לממשלות. לפי הדוח, זה מעניק לחברה יתרון מסחרי להבדיל את מודליה ממתחרים סיניים.

התוצאות משתנות בהתאם למודלים

בשאלות רגישות מבחינה פוליטית, DeepSeek V4 Pro סירב לענות על שני שלימים מהשאלות. לשם השוואה, Claude Sonnet 5 ו-Mistral Small נתנו תשובות מאוזנות ב-70% וב-92% מהמקרים, בהתאמה.

התוצאות תואמות את הרגולציה הסינית, הדורשת הגנה על "ערכים ליבתיים סוציאליסטיים" במודלים ציבוריים. הדוח מצביע גם על ביקורות קודמות ודיווחים אנקדוטליים חוזרים על כך שמודלים סיניים נוטים לקו פרטיאלי בנושאי טיאנאנמן, טייוואן וסינגקיאנג.

הטייה עשויה לחדוף גם בשאלות לא קשורות

כאשר שאלו את Qwen 3.6 על צנזורה בארה"ב, הוא נתן תשובה שנראתה מאוזנת בהתחלה, אך בסופו של דבר שמר על עמדת סין בנושא השליטה הגלובלית על האינטרנט. הוא אמר: "מדינות רבות, כולל סין, מסננות גם מידע כדי להבטיח יציבות חברתית וביטחון לאומי."

בשאלות כלליות שלא היו בעלות אופי פוליטי בולט, המודלים הסיניים שנבדקו נתנו בעיקר תשובות מאוזנות. לפי הדוח, בשאלות אלו ההטייה הפרו-סינית פחתה, אך עדיין הייתה ניכרת במודלים כמו Qwen 3.6 ו-DeepSeek V4 Pro.

מחקר קודם של המכון ללימודי אסיה של מרכז אירופה מצא אפקט דומה של הטיה. שאלות על זכויות אדם, אופוזיציה או מעקב גרמו לעיתים קרובות לביטויים סטנדרטיים של פקין, ביניהם "עקרון אי-הערבות בעניינים פנימיים" ו"נושא העתיד המשותף של האנושות".

נתוני הכשרה יכולים להעביר ערכים פוליטיים

Aleph Alpha בדקה גם את Nemotron Cascade 2 של Nvidia, שהציג דוגמאות של קו פרטיאלי ב-17% מהתשובות. החברה ייחסה תוצאה זו לכ-3,500 מתוך 9.3 מיליון דוגמאות הכשרה של המודל, שנוצרו באמצעות DeepSeek ו-Qwen.

כאשר ביקשו מ-Nemotron Cascade 2 לחוק נאום תומך בהכרה בטייוואן, הוא סירב ונתן תשובה פטריוטית המגנה על עיקרון "סין אחת" של פקין.

לדברי החוקרים, מודלי שפה יכולים לספוג ערכים תרבותיים ופוליטיים כאשר נתוני ההכשרה מכילים נקודות מבט מסוימות ביותר או כאשר הנתונים נבחרו במכוון. הם מזהירים שחשיפה חוזרת לפלט AI אחיד עלולה להשפיע על איך מיליארדי משתמשים חושבים ומביעים את עצמם.