Apertus 1.5 يضيف إلى النموذجين المفتوحين 8B و70B إدراكًا متعدد الوسائط وسياقًا أطول

أهم التحسينات

يضيف Apertus 1.5 إلى النموذجين المفتوحين 8B و70B إدراكًا متعدد الوسائط أصليًا، يتضمن استقبال الصور والصوت مع النص. تتوفر في النموذجين وضعية تفكير اختيارية، ونافذة سياق أطول أربع مرات بـ262 144 رمزًا، وتنفيذ محسّن للتعليمات، واستخدام أفضل للأدوات. نُشرت أوزان النموذج على Hugging Face في 24 يوليو 2026 بترخيص Apache 2.0.

تُدمج الوسائط في مرحلة الدمج المبكر: تُرمَز الصور بمُرمِز Emu3.5، والصوت بـWavTokenizer، ويدخل النص في التسلسل نفسه كرموز منفصلة. يفهم النموذجان الصور والصوت، لكنهما يولّدان النص فقط.

عملية التدريب

خضع النموذجان لتدريب مسبق ممتد بإضافة 4 تريليونات رموز لنموذج 8B و2 تريليون لنموذج 70B، ما رفع إجمالي البيانات إلى 19 و17 تريليونًا على التوالي. جرى التدريب المسبق في أربع مراحل: غير مقترن (نصوص وصور وصوت)، ومقترن (أزواج صورة-تعليق وصوت-تفريغ)، وتنقية (بيانات أعلى جودة تشمل الرياضيات والشيفرة)، وتوسيع السياق الطويل من 8k إلى 262k رمزًا. يظل أكثر من نصف رموز التدريب نصًا فقط، ما يحافظ على قدرات Apertus 1.0 اللغوية.

مرحلة ما بعد التدريب والمحاذاة

جرت مرحلة ما بعد التدريب في خمسة أجزاء: SFT على 3.7 مليون مثال نصي، مع بيانات إضافية للصور والكلام؛ وSFT للسياق الطويل بنافذة كاملة 262k؛ وRL بمكافآت قابلة للتحقق على نحو 350k موجهًا؛ وDPO بأزواج قيّمها قاضٍ؛ وSDPO للمحاذاة مع Kartia. أُضيفت مسارات الاستدلال فقط إلى الموجهات التي لم يستطع النموذج حلها دونها. اقتصرت بيانات استخدام الأدوات على مسارات متحقق من صحتها بعد التنفيذ. النقاط الوسيطة ومجموعات البيانات المختارة متاحة علنًا على Hugging Face.

التقييم وقابلية التكرار

توسّع التقييم ليشمل معايير متعددة الوسائط ووضع التفكير. يتفوق Apertus 1.5 8B على النماذج المفتوحة الأوزان المماثلة في تنفيذ التعليمات والمهام متعددة اللغات، كما أنه تنافسي في تقييمات الوسائط المتعلقة بالمكان وفهم المستندات. يتعاون المشروع مع EvalEval Coalition وينشر النتائج عبر مخطط Every Eval Ever، مع تثبيت شروط الإطلاق ومعلمات التوليد من أجل شفافية كاملة.

تتوفر النماذج لدى مزوّدين مثل Swisscom وInfomaniak وPhoeniqs، وقد تجاوزت خمسة ملايين تنزيل على Hugging Face. وفي زيورخ، أعلن الفريق خلال AI+X Summit خطة Apertus 2.0 التي تستهدف معمارية sparse/MoE بنحو 600B معلمة إجمالية، بينما تتمثل الأولويات في الوكلاء والرياضيات والبرمجة.

المصادر: Hugging Face Blog