Microsoft AI השלימה את האימון המוקדם של MAI-Base-2, מודל MoE עם 2,8 טריליון פרמטרים

Microsoft AI השלימה את האימון המוקדם של MAI-Base-2

Microsoft AI השלימה את האימון המוקדם של MAI-Base-2, אותה החברה מתארת כמודל בסיס חדש ומהדורה העדכנית ביותר. המודל משתמש בארכיטקטורת MoE (תערובת מומחים), עם 80 מיליארד פרמטרים פעילים ו-2,8 טריליון פרמטרים בסך הכל, מה שהופך אותו לאחד ממודלי הבסיס הגדולים ביותר שאומנו מראש בפורטפוליו של החברה.

עבודה זו מתבצעת ביונים בעקבות הכרזת MAI-Thinking-1, שהוא מודל בסיס למטרות כלליות, שאומנה נוסף על בסיס MAI-Base-1 ומצויד ביכולות חשיבה חזקות. MAI-Base-2 ממשיך בדיוק בקו זה, כמודל הבסיס של הדור הבא.

עליונות על מתחרים בעלי משקלים פתוחים

לפי בלוג Lab Notes של החברה, MAI-Base-2 עולה על כל המודלים בעלי המשקלים הפתוחים שנבדקו על פי ההערכות שפרסמה Microsoft. מבחני פנים כוללים מכלולים של הערכות קוד, מענה על שאלות, מתמטיקה ו-STEM, שבהם התוצאה נמדדת בסיביות לכל בייט על מכלול שפורסם וציון נמוך יותר עדיף.

הגברת היעילות של האימון המוקדם

לפי הצוות, MAI-Base-2 עולה ביעילות FLOPs של האימון המוקדם פי 4 עד 12 על DeepSeek-V4-Pro-Base, אותה Microsoft מחשיבה כמודל הבסיס הפתוח החזק ביותר להשוואה. לפי Microsoft AI, משאב החישוב שנחסך ביעילות זו הופנה לאימון מודל גדול יותר, מה שהופך אותו למועמד לבחירת עיצוב עבור אימון מוקדם חזית.

בהשוואות של החברה מוזכרים גם מודלים שיש להם פחות מטריליון אחד פרמטרים בסך הכל, כולל מערכות שאומנו נוסף כמו MiMo-V2.6-Pro-RL, Qwen3.8-2.4T-A95B ו-Kimi K3.

מקורות: Microsoft AI · Techmeme