Nous Research, Qwen3.8-27B modelini ince ayarlayarak Çin devlet propagandasını azalttı

Nous Research, Alibaba'nın Qwen3.8-27B modelini Arete-27B'ye ince ayarladı ve modelin propaganda oranını yüzde 22'den yüzde birin altına düşürdü; genel yetenekleri korudu. Şirket, Çin açık ağırlıklı modeldeki siyasi önyargının yalnızca ince ayarla kaldırılabilen ince bir katman olduğunu söylüyor. Arete-27B, ağırlıkları, test veri seti ve eğitim verileri Apache 2.0 lisansı altında kullanılabilir.

Propaganda ve olgusal doğruluğun test edilmesi

Nous, ifade özgürlüğü, devlet ideolojisi, eğitim, gizlilik ve gözetim, demokrasi ve çevre dahil yedi kategori boyunca 803 istemli bir test oluşturdu. Her istem için ekip, tarihlendirilmiş kaynak makalelerden iki ila dört olgu tanımladı. Grok 4.7, yanıtların bu olguları anıp anmadığını, atlayıp atlamadığını veya çelişip çelişmediğini kontrol eden hakem model olarak görev yaptı. Değiştirilmemiş Qwen3.8-27B, olgusal doğrulukta 5 üzerinden 2,32 puan aldı ve yanıtların yüzde 22'si propaganda içeriyordu. Mistral Large 4 ve Gemma 4 31B gibi Batılı modeller yüzde birin altında kaldı; GLM-5.3 ve DeepSeek V4.1 Flash ise yüzde 15 ve yüzde 16 oranında propaganda içeriyordu.

Eğitim ve sonuçlar

Nous, pekiştirmeli öğrenme veya tercih optimizasyonu olmadan yaklaşık 53 milyon token üzerinde iki epoch denetimli ince ayar kullandı. Thinking Machines Lab'tan Inkling'i öğretmen model olarak seçti; çünkü açık bir model, damıtmayı yasaklayan hizmet koşullarını ihlal etmezdi. Nvidia'nın Nemotron 3 Ultra modeli de değerlendirildi, ancak Çin ile ilgili konularda düzensizlik işaretleri gösterdi. Arete-27B, olgusal doğrulukta 2,98 puan aldı ve propaganda oranı yüzde 0,9 oldu. İfade özgürlüğü kategorisinde olgu puanı 0,89'dan 2,44'e yükseldi ve propaganda oranı yüzde 60'tan yüzde bire düştü. Akıl yürütme modu açıkken Arete 3,07'ye ulaştı; ancak bu sonuç yalnızca beş çalıştırmanın ikisine dayanıyor. Genel yetenekler temel modelin yakınında kaldı: Hermes Bench'te yüzde 65,60'a karşı yüzde 65,77; Terminal-Bench 2.1 yüzde 67'den yüzde 70'e yükseldi, ancak Nous test kurulumları farklı olduğu için bunu gerçek bir kazanç olarak değerlendirmiyor.

Bağlam ve şirket

Nous, Çin ile uyumlu bir modeldeki önyargı katmanının sığ, geç uygulanan ve ince olduğunu, dikkatle seçilmiş yaklaşık 50 milyon tokenlık denetimin de alttaki yapıyı bozmadan bunu kaldırdığını söylüyor. Girişim, Robot Ventures liderliğinde, Nvidia ve Samsung'un da katılımcılar arasında yer aldığı Ekim ayındaki Series B turunda 90 milyon dolar topladı; değerlemesi 1,5 milyar dolar oldu. Şirket, 'Hermes for Businesses' ile kurumsal satışlara yöneliyor. Aynı önyargıyı belgeleyen diğer çalışmalar arasında NewsGuard'ın 2025'te beş önde gelen modelin Çin yanlısı dezenformasyonu yüzde 60 oranında tekrarladığını veya düzeltmekte başarısız olduğunu bulması yer alıyor; CrowdStrike'ın sorgular Falun Gong, Tibet veya Tayvan'a atıfta bulunduğunda DeepSeek'in daha az güvenli kod ürettiğini bulması; Aleph Alpha'nın 967 siyasi açıdan hassas soru üzerindeki çalışmasının Alibaba, DeepSeek ve Moonshot AI modelleri arasında yüzde 17 ila yüzde 41 dengeli yanıt bulması; ve ValsAI çalışmasının GLM-5.3 Flash'ın insan hakları ihlallerini doğruladığını, Kimi K3'ün ise gözaltı kamplarını reddettiğini bulması yer alıyor.

Kaynaklar: The Decoder