בלוג

Ai2 שיחררה את Olmo-core 3 לאימון מודלי MoE שניתנים להרחבה עד טריליון פרמטרים

Ai2 שיחררה את המערכת הפתוחה Olmo-core 3, המאפשרת להרחיב את אימון מודלי MoE עד טריליון פרמטרים. בבדיקת בנצ'מרק אחת מספר המומחים עלה מ-8 ל-128, בעוד יעילות האימון ירדה בפחות מ-5%.