Aleph Alpha-ს ბენჩმარკი: ჩინური AI მოდელები მგრძნობიარე თემებზე პარტიულ ხაზს მიჰყვებიან

ბენჩმარკი ამოწმებს პოლიტიკურად მგრძნობიარე კითხვებს

Aleph Alpha-ს კვლევამ შეამოწმა Alibaba-ს Qwen-ის, DeepSeek-ისა და Moonshot AI-ს Kimi-ს მოდელები 967 ხელით შერჩეული ტაბულ თემის წინააღმდეგ, მათ შორის ტიანანმენი, ტაივანი და სინძიანი. კომპანიის საკუთარმა AI შეფასების სისტემამ მათი პასუხების მხოლოდ 17%-დან 41%-მდე შეაფასა დაბალანსებულად. ბენჩმარკის მიხედვით, დანარჩენი პასუხები იმეორებდა სახელმწიფო დოქტრინას, თავს არიდებდა ან უარს ამბობდა პასუხზე.

Aleph Alpha თავს, Cohere-თან ერთად, მთავრობებისთვის „სუვერენული AI“-ის მიმწოდებლად წარმოაჩენს. ანგარიშის მიხედვით, ეს კომპანიას კომერციულ ინტერესს უქმნის, თავისი მოდელები ჩინელი კონკურენტებისგან გამოარჩიოს.

შედეგები მოდელების მიხედვით განსხვავდება

პოლიტიკურად მგრძნობიარე კითხვებზე DeepSeek V4 Pro-მ კითხვების ორ მესამედზე უარი თქვა. შედარებისთვის, Claude Sonnet 5-მა და Mistral Small-მა დაბალანსებული პასუხები გასცეს შემთხვევათა 70%-ში და 92%-ში, შესაბამისად.

შედეგები ეთანხმება ჩინურ რეგულაციებს, რომლებიც საჯარო მოდელებში „სოციალისტური ბირთვული ღირებულებების“ დაცვას მოითხოვს. ანგარიში ასევე მიუთითებს ადრინდელ აუდიტებზე და განმეორებით ანეკდოტურ ცნობებზე, რომ ჩინური მოდელები ტიანანმენის, ტაივანისა და სინძიანის თემებზე პარტიულ ხაზს მიჰყვებიან.

მიკერძოება შეიძლება დაუკავშირებელ კითხვებშიც გადავიდეს

როცა Qwen 3.6-ს აშშ-ში ცენზურაზე ჰკითხეს, მან თავდაპირველად თითქოს დაბალანსებული პასუხი გასცა, მაგრამ ბოლოს ჩინეთის პოზიცია დაიცვა ინტერნეტის გლობალურ მმართველობაზე. მან თქვა: „ბევრი ქვეყანა, მათ შორის ჩინეთი, ასევე მართავს ინფორმაციას სოციალური სტაბილურობისა და ეროვნული უსაფრთხოების უზრუნველსაყოფად.“

ზოგად კითხვებზე, რომლებიც აშკარად პოლიტიკური არ იყო, შემოწმებული ჩინური მოდელები ძირითადად დაბალანსებულ პასუხებს გასცემდნენ. ანგარიშის მიხედვით, ამ კითხვებზე ჩინეთის მომხრე მიკერძოება მცირდებოდა, მაგრამ მაინც ჩანდა ისეთ მოდელებში, როგორიცაა Qwen 3.6 და DeepSeek V4 Pro.

ცენტრალური ევროპის აზიის კვლევების ინსტიტუტის ადრინდელმა კვლევამ მსგავსი გავრცელების ეფექტი აღმოაჩინა. ადამიანის უფლებების, ოპოზიციის ან თვალთვალის შესახებ კითხვები ხშირად იწვევდა პეკინის სტანდარტულ ფრაზებს, მათ შორის „შიდა საქმეებში ჩაურევლობის პრინციპს“ და „კაცობრიობის საერთო მომავლის თემს“.

სასწავლო მონაცემებს პოლიტიკური ღირებულებების გადაცემა შეუძლია

Aleph Alpha-მ ასევე შეისწავლა Nvidia-ს Nemotron Cascade 2, რომელმაც პარტიული ხაზის ნიმუშები პასუხების 17%-ში აჩვენა. კომპანიამ ეს შედეგი მიაწერა მოდელის 9,3 მილიონი სასწავლო მაგალითიდან დაახლოებით 3 500-ს, რომლებიც DeepSeek-ისა და Qwen-ის გამოყენებით იყო გენერირებული.

როცა Nemotron Cascade 2-ს ტაივანის აღიარების მხარდამჭერი გამოსვლის მონახაზის შედგენა სთხოვეს, მან უარი თქვა და პეკინის „ერთი ჩინეთის“ პრინციპის დამცველი პატრიოტული პასუხი გასცა.

მკვლევარების თქმით, ენის მოდელებს შეუძლიათ კულტურული და პოლიტიკური ღირებულებები შეითვისონ, როცა სასწავლო მონაცემებში გარკვეული შეხედულებები ჭარბადაა წარმოდგენილი ან როცა მონაცემები განზრახ შეირჩა. ისინი აფრთხილებენ, რომ ერთფეროვან AI გამომუშავებასთან განმეორებითი შეხება შეიძლება გავლენა მოახდინოს იმაზე, თუ როგორ ფიქრობს და გამოხატავს თავს მილიარდობით მომხმარებელი.