Microsoft AI, 2,8 trilyon parametreli MoE modeli MAI-Base-2'nin ön eğitimini tamamladı

Microsoft AI, MAI-Base-2'nin ön eğitimini tamamladı

Microsoft AI, MAI-Base-2'nin ön eğitimini tamamladı ve modeli yeni, en iyi sınıftaki bir temel model olarak tanımlıyor. Model, 80 milyar aktif ve 2,8 trilyon toplam parametreye sahip uzman karışımı (MoE) mimarisini kullanıyor; bu da onu şirketin portföyündeki en büyük ön eğitimli temel modellerden biri yapıyor.

Bu çalışma, haziran ayında duyurulan MAI-Thinking-1'i takip ediyor; MAI-Thinking-1, genel amaçlı bir temel modeldir ve MAI-Base-1 üzerinde eğitilerek güçlü akıl yürütme sonuçları gösteriyor. MAI-Base-2 bu yol doğrudan, bir sonraki neslin temel modeli olarak sürdürüyor.

Açık ağırlıklı rakipleri geride bırakıyor

Şirketin Lab Notes bloguna göre, MAI-Base-2; Microsoft AI'ın elenen değerlendirmelerindeki tüm açık ağırlıklı modelleri geride bırakıyor. Dahili testler kod, soru-cevap, matematik ve STEM değerlendirme kapsamlarını içeriyor; performans bayt başına atlanan bit cinsinden ölçülüyor ve düşük puan daha iyidir.

Ön eğitim verimliliğinin artması

Ekip, MAI-Base-2'nin ön eğitim FLOPs verimliliğinin DeepSeek-V4-Pro-Base'i 4 ile 12 kat arttırdığını belirtiyor; DeepSeek-V4-Pro-Base ise karşılaştırmada en güçlü açık temel model olarak görülüyor. Microsoft AI'ye göre, bu verimlilikle elde edilen hesaplama tasarrufu daha büyük bir modelin eğitimine aktarılmış olup bunu sınır ön eğitimi için bilinçli bir tasarım tercihi olarak konumlandırıyor.

Şirketin karşılaştırmaları; en az bir trilyon toplam parametresi bulunan, MiMo-V2.6-Pro-RL, Qwen3.8-2.4T-A95B ve Kimi K3 gibi eğitim sonrası sistemleri de kapsıyor.

Kaynaklar: Microsoft AI · Techmeme