Baidu випустила ERNIE 5.5 Flash Base як відкриту фундаментальну модель із 280 мільярдами параметрів

Baidu випустила ERNIE 5.5 Flash Base, відкриту фундаментальну модель із 280 мільярдами параметрів. Модель навмисно постачається без доналаштування та постнавчання, тому очікується, що розробники самі вирішать, як її адаптувати. Версія після постнавчання має вийти пізніше.

Архітектура та навчання моделі

ERNIE 5.5 використовує архітектуру mixture of experts із 280 мільярдами параметрів, із яких 14 мільярдів активні для кожного введення. Її попередньо навчали на 33,5 трильйона токенів із контекстом навчання до 128 000 токенів. Вона призначена для підтримки контексту до одного мільйона токенів під час доналаштування та виведення.

Бенчмарки та доступність

Baidu порівняла ERNIE 5.5 Flash Base з DeepSeek V4 Flash Base, Hy3 preview Base і MiMo V2.5 Base, використовуючи той самий конвеєр оцінювання. Категоріями були іспит, STEM, міркування, знання, код, багатомовність і довгий контекст. Baidu заявляє, що модель конкурує з подібними за розміром відкритими фундаментальними моделями, такими як DeepSeek V4 Flash або MiMo V2.5, у завданнях на міркування, код і довгий контекст. Ваги доступні на Hugging Face у форматах FP8 і BF16.

Що отримують розробники

Оскільки це базова модель, вона не містить доналаштування чи постнавчання. Очікується, що розробники самі вирішать, як далі розвивати модель, а версія після постнавчання має вийти пізніше.

Джерела: The Decoder