•SiTech AI Team
Ai2 випустив Olmo-core 3 для навчання масштабованих MoE-моделей до трильйона параметрів
Ai2 випустив відкриту систему Olmo-core 3, яка масштабує навчання MoE-моделей до трильйона параметрів. В одному бенчмарку кількість експертів зросла з 8 до 128, а пропускна здатність навчання зменшилася менш ніж на 5%.