Microsoft AI завершила попереднє навчання MAI-Base-2, MoE-моделі з 2,8 трильйона параметрів

Microsoft AI завершила попереднє навчання MAI-Base-2

Microsoft AI завершила попереднє навчання MAI-Base-2, яку компанія представляє як нову базову модель найновішого покоління. Модель використовує архітектуру суміші експертів (mixture-of-experts) із 80 мільярдами активних і 2,8 трильйона сумарних параметрів, що робить її однією з найбільших попередньо навчених базових моделей у портфоліо компанії.

Розробка спирається на представлений в червні MAI-Thinking-1 — базову модель загального призначення, яка навчається поверх MAI-Base-1 і виділяється сильною здатністю до міркування. MAI-Base-2 продовжує цю серію як базова модель наступного покоління.

Кращі результати, ніж у конкурентів із відкритою вагою

За даними блогу Lab Notes компанії, MAI-Base-2 перевершує всі моделі з відкритою вагою, які брали участь у закритих оцінках Microsoft. Внутрішні бенчмарки охоплюють код, відповіді на запитання, математику та набори оцінювання STEM, де результати вимірюються закритими бітами на байт (bits per byte), а нижча оцінка означає кращий результат.

Зростання ефективності попереднього навчання

Команда повідомляє, що MAI-Base-2 щодо FLOPs для попереднього навчання в 4–12 разів ефективніша за DeepSeek-V4-Pro-Base, яку в порівнянні називають найсильнішою відкритою базовою моделлю. За словами Microsoft, завдяки цій ефективності заощаджений обчислювальний ресурс пішов на навчання більшої моделі, що компанія розглядає як обдумений компроміс для фронтирного попереднього навчання.

Порівняння компанії також включають моделі щонайменше з одним трильйоном сумарних параметрів, зокрема такі подальшонавчені системи, як MiMo-V2.6-Pro-RL, Qwen3.8-2.4T-A95B і Kimi K3.

Джерела: Microsoft AI · Techmeme