Baidu, 280 Milyar Parametreli Açık Temel Model ERNIE 5.5 Flash Base'i Yayınladı

Baidu, 280 milyar parametreli açık temel model ERNIE 5.5 Flash Base'i yayınladı. Model, ince ayar veya eğitim sonrası işleme olmadan bilinçli olarak sunuluyor; geliştiricilerin onu nasıl uyarlayacaklarına karar vermeleri bekleniyor. Eğitim sonrası işlenmiş bir sürümün daha sonra gelmesi bekleniyor.

Model mimarisi ve eğitim

ERNIE 5.5, 280 milyar parametreli bir uzman karışımı mimarisi kullanıyor; bunların 14 milyarı her girdi için etkin. Model, 33,5 trilyon belirteç üzerinde ön eğitildi; eğitim bağlamı 128.000 belirtece kadardı. İnce ayar ve çıkarım sırasında en fazla bir milyon belirtece kadar bağlamı desteklemek üzere tasarlandı.

Karşılaştırmalar ve kullanılabilirlik

Baidu, ERNIE 5.5 Flash Base'i DeepSeek V4 Flash Base, Hy3 preview Base ve MiMo V2.5 Base ile aynı değerlendirme hattını kullanarak karşılaştırdı. Kategoriler Sınav, STEM, Akıl Yürütme, Bilgi, Kod, Çok Dilli ve Uzun Bağlam oldu. Baidu, modelin akıl yürütme, kod ve uzun bağlam görevlerinde DeepSeek V4 Flash veya MiMo V2.5 gibi benzer boyutlu açık temel modellerle rekabet ettiğini söylüyor. Ağırlıklar Hugging Face üzerinde FP8 ve BF16 formatlarında mevcut.

Geliştiriciler ne alıyor

Yayın bir temel model olduğu için ince ayar veya eğitim sonrası işleme içermiyor. Geliştiricilerin modeli nereye taşıyacaklarına karar vermeleri bekleniyor; eğitim sonrası işlenmiş bir sürümün ise izlemesi bekleniyor.

Kaynaklar: The Decoder