Baidu-მ 280 მილიარდი პარამეტრის ღია საბაზისო მოდელი ERNIE 5.5 Flash Base გამოუშვა

Baidu-მ გამოუშვა ERNIE 5.5 Flash Base, 280 მილიარდი პარამეტრის ღია საბაზისო მოდელი. მოდელი განზრახ ვრცელდება fine-tuning-ისა და post-training-ის გარეშე, ამიტომ დეველოპერებმა თავად უნდა გადაწყვიტონ, როგორ მოარგონ ის საკუთარ საჭიროებებს. მოსალოდნელია, რომ post-trained ვერსიაც მოგვიანებით გამოვა.

მოდელის არქიტექტურა და წვრთნა

ERNIE 5.5 იყენებს ექსპერტთა ნარევის არქიტექტურას 280 მილიარდი პარამეტრით, საიდანაც თითოეულ შეყვანაზე 14 მილიარდი აქტიურია. ის წინასწარ გაწვრთნილია 33,5 ტრილიონ ტოკენზე, წვრთნის კონტექსტით 128 000 ტოკენამდე. ის შექმნილია იმისთვის, რომ fine-tuning-ისა და inference-ის დროს მილიონ ტოკენამდე კონტექსტს მხარს უჭერდეს.

ბენჩმარკები და ხელმისაწვდომობა

Baidu-მ ERNIE 5.5 Flash Base შეადარა DeepSeek V4 Flash Base-ს, Hy3 preview Base-სა და MiMo V2.5 Base-ს იმავე შეფასების პროცესის გამოყენებით. კატეგორიები იყო: გამოცდა, STEM, მსჯელობა, ცოდნა, კოდი, მრავალენოვანი და გრძელი კონტექსტი. Baidu-ს განცხადებით, მოდელი მსგავსი ზომის ღია საბაზისო მოდელებს, როგორიცაა DeepSeek V4 Flash ან MiMo V2.5, კონკურენციას უწევს მსჯელობის, კოდისა და გრძელი კონტექსტის ამოცანებში. წონები ხელმისაწვდომია Hugging Face-ზე FP8 და BF16 ფორმატებში.

რას იღებენ დეველოპერები

ვინაიდან გამოშვება საბაზისო მოდელია, ის არ მოიცავს fine-tuning-სა და post-training-ს. დეველოპერებმა თავად უნდა გადაწყვიტონ, საით წაიყვანონ მოდელი, ხოლო post-trained ვერსია, სავარაუდოდ, მოგვიანებით გამოვა.

წყაროები: The Decoder