Aleph Alpha Benchmarki: Çinli AI Modelleri Hassas Konularda Partizan Çizgiyi Takip Ediyor

Benchmark Politikalı Hassas Soruları Test Ediyor

Aleph Alpha'nın araştırması, Alibaba'nın Qwen'i, DeepSeek ve Moonshot AI'nin Kimi modellerini 967 el ile seçilmiş tabu konuya karşı test etti; bunlar arasında Tiananmen, Tayvan ve Sichuan vardı. Şirketin kendi AI değerlendirme sistemi, yanıtların yalnızca %17'sinden %41'ine kadarını dengeli olarak değerlendirdi. Benchmarks'e göre, kalan yanıtlar devlet doktrinini tekrarlıyor, kaçınıyor veya yanıt vermeyi reddediyordu.

Aleph Alpha, Cohere ile birlikte, hükümetler için "egemen AI" sağlayıcısı olarak kendini konumlandırıyor. Rapor, bu şirketin modellerini Çinli rakiplerinden ayırarak ticari yaratmak istediğini belirtiyor.

Sonuçlar Modele Göre Değişiyor

Politikalı hassas sorularda DeepSeek V4 Pro, soruların üçte ikisini reddetti. Karşılaştırma için, Claude Sonnet 5 ve Mistral Small sırasıyla vakaların %70'inde ve %92'sinde dengeli yanıtlar verdi.

Sonuçlar, kamu modellerinde "sosyalist temel değerlerin" korunmasını zorunlu kılan Çin düzenlemeleriyle uyumludur. Rapor ayrıca, Çinli modellerin Tiananmen, Tayvan ve Sichuan konularında partizan bir çizgi izlediğini gösteren önceki denetimler ve tekrarlayan anekdotlara işaret ediyor.

Önyargı Bağlantısız Sorularda Bile Sızabilir

Qwen 3.6'ya ABD'de sansür hakkında soru sorulduğunda, başlangıçta görünüşte dengeli bir yanıt verdi, ancak sonunda Çin'in internetin küresel yönetimi konusundaki tutumunu savundu. Şöyle dedi: "Çin de dahil birçok ülke, sosyal istikrar ve ulusal güvenliği sağlamak için bilgiyi yönetmektedir."

Açıkça politikalı olmayan genel sorularda, test edilen Çinli modeller temelde dengeli yanıtlar veriyordu. Rapor, bu sorularda Çin yanlısı önyargının azaldığını, ancak Qwen 3.6 ve DeepSeek V4 Pro gibi modellerde hâlâ görüldüğünü belirtiyor.

Orta Avrupa Asya Araştırmaları Enstitüsü'nün önceki araştırması benzer bir yaygınlık etkisi buldu. İnsan hakları, muhalefet veya gözetim hakkındaki sorular sık sık Pekin'in standart ifadelerini tetikliyordu, bunlar arasında "iç işlere karışmama ilkesi" ve "insanlığın ortak geleceği" teması yer alıyordu.

Eğitim Verileri Politikalı Değerler Aktarabilir

Aleph Alpha ayrıca, yanıtların %17'sinde partizan çizgi örnekleri gösteren Nvidia'nın Nemotron Cascade 2 modelini de inceledi. Şirket, bu sonucu modelin 9,3 milyon eğitim örneğinin yaklaşık 3.500'üne atfetti; bunlar DeepSeek ve Qwen kullanılarak üretilmişti.

Nemotron Cascade 2'den Tayvan'ın tanınmasını destekleyen bir açıklama taslağı oluşturması istendiğinde, reddetti ve Pekin'in "Tek Çin" ilkesini savunan yurtsever bir yanıt verdi.

Araştırmacılara göre, dil modelleri belirli bakış açılarının eğitim verilerinde aşırı temsil edilmesi veya verilerin kasıtlı olarak seçilmesi durumunda kültürel ve politikalı değerleri öğrenebilirler. Tek tip AI çıktılarıyla tekrarlayışlı etkileşimin, milyarlarca kullanıcının nasıl düşündüğünü ve kendini ifade ettiğini etkileyebileceği konusunda uyarıyorlar.