Microsoft AI-ն ավարտեց MAI-Base-2-ի՝ 2,8 տրիլիոն պարամետրով MoE մոդելի նախապետ ուսուցումը

Microsoft AI-ն ավարտեց MAI-Base-2-ի նախապետ ուսուցումը

Microsoft AI-ն ավարտեց MAI-Base-2-ի նախապետ ուսուցումը, որը ընկերությունը նկարագրում է որպես նոր, ժամանակակից մակարդակի հիմնական մոդել: Մոդելը օգտագործում է փորձագետների խառնուրի (MoE) ճարտարապետություն՝ 80 միլիարդ ակտիվ և 2,8 տրիլիոն ընդհանուր պարամետրով, ինչը այն դարձնում է ընկերության պորտֆոլիոյի ամենամեծ նախապետ ուսուցված հիմնական մոդելներից մեկը:

Աշխատանքը հաջորդում է հունիսին հայտարարված MAI-Thinking-1-ին՝ ընդհանուր նախատեսման հիմնական մոդելին, որը MAI-Base-1-ի վրա հիմնված հաջորդական ուսուցման արդյունքում ցույց է տալիս ուժեղ տրամաբանական մտածողություն: MAI-Base-2-ն անմիջապես շարունակում է այս գիծը՝ որպես հաջորդ սերնդի հիմնական մոդել:

Բաց կշռի մրցունակների նկատմամբ ավելի լավ արդյունքներ

Ըստ ընկերության Lab Notes բլոգի՝ MAI-Base-2-ն գերազանցում է բոլոր բաց կշռի մոդելներին, որոնք ստուգվել են Microsoft-ի հանձնված գնահատականներում: Ներքին բենչմարկերը ներառում են կոդ, հարց-պատասխան, մաթեմատիկա և STEM գնահատման հավաքածուներ, որտեղ արդյունքները չվում են հանձնված տվյալների համար բիթ բայտի միավորի համար, և որքան քիչ՝ այնքան ավելի լավ:

Շահում նախապետ ուսուցման արդյունավետության մեջ

Թիմը հայտնում է, որ MAI-Base-2-ն նախապետ ուսուցման FLOPs-ով 4-ից 12 անգամ ավելի արդյունավետ է, քան DeepSeek-V4-Pro-Base-ը, որը համեմատության մեջ նշվում է որպես ամենաուժեղ բաց հիմնական մոդել: Microsoft-ը հայտնում է, որ այս արդյունավետությամբ կուտակված հաշվողական ռեսուրսը վերահասցեավորվել է ավելի մեծ մոդելի ուսուցմանը, իսկ այս զիջումը նախաձեռնում է նախապետ ուսուցման համար նախատեսված դիզայնի ընտրություն:

Ընկերության համեմատություններում նաև նշված են մոդելներ, որոց ընդհանուր պարամետրերի քանակը պակաս է մեկ տրիլիոնից, այդ թվում՝ հաջորդական ուսուցված համակարգեր, ինչպիսիք են MiMo-V2.6-Pro-RL, Qwen3.8-2.4T-A95B և Kimi K3:

Աղբյուրներ: Microsoft AI · Techmeme