Baidu משחררת את ERNIE 5.5 Flash Base כמודל יסוד פתוח בעל 280 מיליארד פרמטרים

Baidu שחררה את ERNIE 5.5 Flash Base, מודל יסוד פתוח עם 280 מיליארד פרמטרים. המודל משוחרר בכוונה ללא כיוונון עדין או אימון לאחר, כך שהמפתחים אמורים להחליט כיצד להתאים אותו. גרסה שעברה אימון לאחר צפויה לבוא לאחר מכן.

ארכיטקטורת המודל והאימון

ERNIE 5.5 משתמש בארכיטקטורת תערובת מומחים עם 280 מיליארד פרמטרים, מתוכם 14 מיליארד פעילים לכל קלט. הוא אומן מראש על 33.5 טריליון טוקנים עם הקשר אימון של עד 128,000 טוקנים. הוא תוכנן לתמוך בהקשר של עד מיליון טוקנים במהלך כיוונון עדין והסקה.

מדדי השוואה וזמינות

Baidu השוותה את ERNIE 5.5 Flash Base עם DeepSeek V4 Flash Base, Hy3 preview Base ו-MiMo V2.5 Base תוך שימוש באותו תהליך הערכה. הקטגוריות היו בחינות, STEM, הסקה, ידע, קוד, רב-לשוני והקשר ארוך. Baidu אומרת שהמודל מתחרה במודלי יסוד פתוחים בגודל דומה, כמו DeepSeek V4 Flash או MiMo V2.5, במשימות הסקה, קוד והקשר ארוך. המשקלים זמינים ב-Hugging Face ב-FP8 וב-BF16.

מה מקבלים המפתחים

מכיוון שהשחרור הוא של מודל בסיס, הוא אינו כולל כיוונון עדין או אימון לאחר. המפתחים אמורים להחליט לאן לקחת את המודל, וגרסה שעברה אימון לאחר אמורה לבוא לאחר מכן.

מקורות: The Decoder