Moonshot AI تُطلق Kimi K3.1 Pro نموذجاً متعدد الوسائط ووكيلاً مفتوح الأوزان

أطلقت Moonshot AI نموذج Kimi K3.1 Pro مفتوح الأوزان ومتعدد الوسائط أصلاً ووكيلاً، وهو أقدر نموذج من فئة 3T حتى الآن. دُرّب لاحقاً انطلاقاً من Kimi K3 باستخدام تعلّم معزز مشترك واسع النطاق عبر مئات من المجالات اللاحقة، وهو أول نموذج في سلسلة K3.1 ويجلب نافذة سياق بسعة مليون token. تقول الشركة إنها تحقق تحسينات كبيرة في البرمجة وإنشاء محتوى ثلاثي الأبعاد والبحث المالي ودقة الحقائق وقدرات وكيلية أخرى.

البنية والمواصفات

يستخدم Kimi K3.1 Pro بنية Mixture-of-Experts مع 2.8 تريليون parameters إجمالي و104 مليار parameters مفعلة. ويضم 93 طبقة، وطبقة كثيفة واحدة، وتركيب طبقات attention من 69 طبقة KDA و24 طبقة Gated DSA. طول السياق هو 1,048,576 token، وحجم المفردات 160K، والبُعد المخفي لـ attention هو 7,168 مع 96 رأس attention. بالمقارنة مع Kimi K3، استُبدلت طبقات Gated MLA ذات attention الكامل بطبقات Gated DeepSeek Sparse Attention لنمذجة سياق طويل بكفاءة أكبر. يستخدم النموذج تنشيط SiTU-GLU، ومشفر رؤية MoonViT-V2 مع 401 مليون parameters، وأوزان MXFP4 مع تنشيطات MXFP8 عبر تدريب واعٍ للتكميم. ويضم 896 خبيراً، ويختار 16 لكل token، ويتضمن خبيرين مشتركين؛ وبُعد MoE الكامن هو 3,584، ولكل خبير بُعد مخفي 3,072. تشمل إعدادات فهرس DSA بُعد رأس 128، و32 رأساً، وtop-k 2,048.

نتائج التقييم

ما لم يُذكر خلاف ذلك، تستخدم النتائج المُبلَّغة جهد الاستدلال معيّناً على max، وtemperature 1.0، وtop-p 0.95. الشرطة في جدول المصدر تعني عدم وجود نتيجة مُبلَّغة. الدرجات الأعلى أفضل إلا عندما يذكر benchmark صراحةً أن الأقل أفضل، ودرجات Elo ليست قابلة للمقارنة مباشرة مع درجات accuracy أو pass-rate.

يسجّل Kimi K3.1 Pro 65.7 على Terminal-Bench 4.0، و51.7 على SWE Marathon v1.1، و70.0 على HLE-Full with tools، و94.2 على GPQA-Diamond، و79.6 على OSWorld V2.1، و1846 Elo على GDPval-AA v2.1، و8.3 على Kimi Hallu Bench Hard with tools، حيث الأقل أفضل. كما يسجّل 75.5 على DeepSWE v1.1، و92.1 على BrowseComp، و90.0 على MMMU-Pro with python، و69.4 على APEX-Agents، و77.1 على Kimi Code Bench 2.0 الداخلي، و61.2 على Kimi Code Bench 3.0 Long-horizon الداخلي.

النشر والتوافر

واجهة API متاحة على platform.kimi.ai عبر اختيار kimi-k3.1-pro، مع APIs متوافقة مع OpenAI وAnthropic. محركات الاستدلال الموصى بها هي vLLM وSGLang وTokenSpeed. أُصدر النموذج بموجب Kimi K3.1 Pro License، ويمكن إرسال الأسئلة إلى [email protected]. تُدرج صفحة Hugging Face 797 تحميلاً في الشهر الماضي، وSafetensors بحجم نموذج 2.8 تريليون parameters، وأنواع tensor F32 وBF16 وU8، ونموذجين مُضبطين في شجرة النموذج، وSpace واحد يستخدم النموذج.

استخدام النموذج

يُضبط جهد التفكير عبر حقل الطلب reasoning_effort على المستوى الأعلى، والذي يدعم low وhigh وmax، مع max كقيمة افتراضية. في المحادثات متعددة الأدوار واستدعاءات الأدوات، يجب إعادة الرسالة assistant الكاملة التي تُرجعها API إلى messages كما هي، بما في ذلك reasoning_content وtool_calls، وليس content فقط. تغطّي الأدلة والأمثلة الكاملة إدخال الرؤية، والإخراج المهيكل، ووضع partial، واختيار الأداة، والتحميل الديناميكي للأدوات، وتخزين السياق مؤقتاً.

المصادر: huggingface.co