Baidu 280 milyard parametrli açıq əsas model olan ERNIE 5.5 Flash Base-i buraxdı
Baidu ERNIE 5.5 Flash Base adlı 280 milyard parametrli açıq əsas model buraxdı. Model tənzimlənmə və ya sonrakı təlim olmadan gəlir, ona görə də uyğunlaşdırma qərarını inkişaf etdiricilər verir.
Baidu 280 milyard parametrli açıq əsas model olan ERNIE 5.5 Flash Base-i buraxdı. Model qəsdən incə tənzimləmə və ya sonrakı təlim olmadan təqdim olunur, ona görə də tərtibatçılar onu necə uyğunlaşdıracaqlarına qərar verməlidirlər. İncə tənzimlənmiş versiyanın ardınca gəlməsi gözlənilir.
Model arxitekturası və təlim
ERNIE 5.5, 280 milyard parametrli ekspertlər qarışığı arxitekturasından istifadə edir; bunların 14 milyardı hər giriş üçün aktivdir. O, 33,5 trilyon token üzərində ilkin təlim keçmişdir və təlim konteksti 128 000 tokenə qədərdir. Model incə tənzimləmə və çıxarım zamanı bir milyon tokenə qədər konteksti dəstəkləmək üçün nəzərdə tutulub.
Benchmarklar və mövcudluq
Baidu ERNIE 5.5 Flash Base modelini eyni qiymətləndirmə ardıcıllığı ilə DeepSeek V4 Flash Base, Hy3 preview Base və MiMo V2.5 Base modelləri ilə müqayisə etdi. Kateqoriyalar İmtahan, STEM, Məntiqi nəticə, Bilik, Kod, Çoxdilli və Uzun kontekst idi. Baidu deyir ki, model DeepSeek V4 Flash və ya MiMo V2.5 kimi oxşar ölçülü açıq əsas modellərlə məntiqi nəticə, kod və uzun kontekst tapşırıqlarında rəqabət aparır. Çəkilər FP8 və BF16 formatlarında Hugging Face-də mövcuddur.
Tərtibatçılar nə əldə edir
Bu buraxılış əsas model olduğu üçün incə tənzimləmə və ya sonrakı təlim daxil etmir. Tərtibatçılar modeli hara aparacaqlarına qərar verməlidirlər və incə tənzimlənmiş versiyanın izləməsi gözlənilir.
Mənbələr: The Decoder
SiTech — AI ilə gücləndirilmiş veb hazırlanması
Sürətli və müasir saytlar qurur, AI-ı real biznes proseslərinə gətiririk. Layihəniz və ya sualınız var? Kömək etməyə hazırıq.