Microsoft AI-ის თქმით, MAI-Base-2 საძირკვლის მოდელია MoE-ს ტიპის, 80 მილიარდი აქტიური და 2,8 ტრილიონი ჯამური პარამეტრით; ის ღია წონის კონკურენტებზე უკეთესია გამოყოფილ შეფასებებზე და DeepSeek-V4-Pro-Base-ზე 4-12-ჯერ ეფექტურია FLOPs-ით.

Microsoft AI-მ დაასრულა MAI-Base-2-ის წინასწარი გაწვრთნა

Microsoft AI-მ დაასრულა MAI-Base-2-ის წინასწარი გაწვრთნა. კომპანია ამ მოდელს ახალ, უახლესი დონის საძირკვლის მოდელად აღწერს. მოდელი ექსპერტთა ნარევის არქიტექტურას იყენებს: მას 80 მილიარდი აქტიური და 2,8 ტრილიონი ჯამური პარამეტრი აქვს, რაც მას კომპანიის პორტფოლიოში ერთ-ერთ უდიდეს წინასწარ გაწვრთნილ საბაზო მოდელად აქცევს.

ეს სამუშაო ივნისში MAI-Thinking-1-ის გამოცხადებას მოსდევს. ეს ზოგადი დანიშნულების საძირკვლის მოდელი MAI-Base-1-ის ბაზაზე დამატებით გაწვრთნილია და ძლიერი მსჯელობის უნარით გამოირჩევა. MAI-Base-2 კი პირდაპირ ამ ხაზს აგრძელებს, როგორც შემდეგი თაობის საბაზო მოდელი.

ღია წონის კონკურენტებზე უპირატესობა

კომპანიის Lab Notes-ის ბლოგის მიხედვით, MAI-Base-2 აღემატება ყველა ღია წონის მოდელს, რომელიც Microsoft-ის გამოყოფილ შეფასებებზე შემოწმდა. შიდა ბენჩმარკები მოიცავს კოდს, კითხვებზე პასუხებს, მათემატიკასა და STEM-ის შეფასების კრებულებს. შედეგები იზომება ბიტებით ბაიტზე, სადაც დაბალი ქულა უკეთესია.

მოგება წინასწარი გაწვრთნის ეფექტურობაში

გუნდის ცნობით, MAI-Base-2 წინასწარი გაწვრთნის FLOPs-ის მხრივ 4-დან 12-ჯერ უფრო ეფექტურია, ვიდრე DeepSeek-V4-Pro-Base, რომელსაც შედარებაში ყველაზე ძლიერ ღია საბაზო მოდელად მიიჩნევს. Microsoft-ის თქმით, ამ ეფექტურობით დაზოგილი გამოთვლითი რესურსი უფრო დიდი მოდელის გაწვრთნაზე გადაამისამართა. ამ კომპრომისს კომპანია ფრონტირული წინასწარი გაწვრთნისთვის განზრახ მიღებულ დიზაინის არჩევანად წარმოადგენს.

კომპანიის შედარებები ასევე მოიცავს მოდელებს, რომელთაც სულ მცირე ერთი ტრილიონი ჯამური პარამეტრი აქვთ, მათ შორის დამატებით გაწვრთნილ სისტემებს, როგორიცაა MiMo-V2.6-Pro-RL, Qwen3.8-2.4T-A95B და Kimi K3.

წყაროები: Microsoft AI · Techmeme

Microsoft AI-მ დაასრულა MAI-Base-2-ის წინასწარი გაწვრთნა, ეს 2,8 ტრილიონი პარამეტრის MoE მოდელია