Baidu-ն թողարկել է ERNIE 5.5 Flash Base-ը՝ 280 միլիարդ պարամետրով բաց հիմնային մոդել

Baidu-ն թողարկել է ERNIE 5.5 Flash Base-ը՝ 280 միլիարդ պարամետրով բաց հիմնային մոդել։ Մոդելը միտումնավոր թողարկվում է առանց նուրբ կարգավորման կամ հետուսումնական մշակման, ուստի մշակողները պետք է որոշեն, թե ինչպես այն հարմարեցնել։ Հետուսումնական մշակմամբ տարբերակը սպասվում է հետագայում։

Մոդելի ճարտարապետություն և ուսուցում

ERNIE 5.5-ը օգտագործում է փորձագետների խառնուրդի ճարտարապետություն՝ 280 միլիարդ պարամետրով, որոնցից 14 միլիարդը ակտիվ են յուրաքանչյուր մուտքի համար։ Այն նախապես ուսուցվել է 33,5 տրիլիոն թոքենի վրա՝ մինչև 128 000 թոքեն ուսուցման համատեքստով։ Այն նախատեսված է մինչև մեկ միլիոն թոքեն համատեքստ ապահովելու նուրբ կարգավորման և եզրակացման ժամանակ։

Չափանիշներ և հասանելիություն

Baidu-ն ERNIE 5.5 Flash Base-ը համեմատել է DeepSeek V4 Flash Base-ի, Hy3 preview Base-ի և MiMo V2.5 Base-ի հետ՝ օգտագործելով նույն գնահատման գործընթացը։ Կատեգորիաներն էին՝ քննություն, STEM, դատողություն, գիտելիք, կոդ, բազմալեզու և երկար համատեքստ։ Baidu-ն ասում է, որ մոդելը մրցում է նման չափի բաց հիմնային մոդելների, ինչպիսիք են DeepSeek V4 Flash-ը կամ MiMo V2.5-ը, դատողության, կոդի և երկար համատեքստի խնդիրներում։ Քաշերը հասանելի են Hugging Face-ում՝ FP8 և BF16 ձևաչափերով։

Ինչ են ստանում մշակողները

Քանի որ թողարկումը հիմնային մոդել է, այն չի ներառում նուրբ կարգավորում կամ հետուսումնական մշակում։ Մշակողները պետք է որոշեն, թե ուր տանել մոդելը, և հետուսումնական մշակմամբ տարբերակը պետք է հետևի։

Աղբյուրներ: The Decoder