Kimi K3: نموذج مفتوح بـ 2.8 تريليون معامل

كشفت شركة Moonshot AI عن Kimi K3، أقدر نموذج لديها حتى الآن: نظام يضم 2.8 تريليون معامل، مع رؤية مدمجة ونافذة سياق تبلغ مليون رمز. وتصفه الشركة بأنه أول نموذج مفتوح في فئة الثلاثة تريليونات معامل.

البنية والتوسيع

بُني K3 على آليتي Kimi Delta Attention و Attention Residuals، وهما تعديلان يستهدفان طريقة تدفق المعلومات عبر طول التسلسل وعمق النموذج. وتُفعّل طبقة مزيج الخبراء 16 خبيراً من أصل 896 ضمن إطار Stable LatentMoE. ومع وصفات تدريب وبيانات محدثة، تقول Kimi إن كفاءة التوسيع تحسنت بنحو 2.5 مرة مقارنة بـ Kimi K2. وفي تسعة من الأشهر الاثني عشر الأخيرة كانت نماذج Kimi هي التي تحدد الحد الأعلى لأحجام النماذج المفتوحة.

البرمجة طويلة المدى

في اختبارات تحسين النوى البرمجية عمل كل نموذج باستقلال داخل بيئة معزولة متطابقة لمدة تصل إلى 24 ساعة على أربع مهام شملت AttnRes و KDA ونواة MLA بأبعاد 512 رأساً، على معالجات NVIDIA Hopper ومعالجات رسومية عامة الأغراض من مصنّع آخر. وتقول Kimi إن K3 حقق أداءً منافساً لـ Claude Fable 5، الذي قيّمه طرف ثالث وقد يتضمن سلوكاً احتياطياً، وتقدم بوضوح على Claude Opus 4.8 و GPT 5.6 Sol و GPT 5.5.

كما بنى K3 المترجم MiniTriton: مترجم مدمج على غرار Triton يمتلك طبقة IR خاصة به على مستوى tile فوق MLIR وخط توليد شيفرة PTX. وفي اختبارات roofline المدعومة تعادل مع Triton و torch.compile أو تجاوزهما في بعض أحمال العمل، وأكمل تدريب nanoGPT من طرف إلى طرف بتقارب مستقر. وفي تشغيل مستقل آخر صمّم إصدار مبكر من K3 وتحقّق من شريحة لنموذج nano مبني على بنيته الخاصة خلال 48 ساعة، باستخدام أدوات EDA مفتوحة المصدر على مكتبة Nangate بدقة 45 نانومتر: مساحة 4 مم²، وإغلاق التوقيت عند 100 ميغاهرتز، وسرعة فك ترميز تفوق 8,700 رمز في الثانية في المحاكاة.

العمل المعرفي والحدود

في المهام البحثية أعاد K3 إنتاج علاقات I–Love–Q العامة في الفيزياء الفلكية الحاسوبية: راجع أكثر من 20 ورقة بحثية، وقيّم أكثر من 300 معادلة حالة، وولّد أكثر من 3,000 سطر من شيفرة Python. وتقول Kimi إن هذا العمل يستغرق عادة من أسبوع إلى أسبوعين لدى باحث متمرس، لكنه أُنجز هنا في نحو ساعتين. ومن الحالات الداخلية دراسة لتاريخ 42 عاماً من صناعة شرائح AI ASIC وتحليل لـ 391 حدث موجات جاذبية نُفّذ بأكثر من 20 وكيلاً فرعياً متزامناً.

يتوفر K3 الآن على Kimi.ai و Kimi Work و Kimi Code وواجهة Kimi API، ويعمل افتراضياً بأقصى جهد تفكير. ومن المقرر نشر أوزان النموذج الكاملة قبل 27 يوليو 2026 مع تقرير تقني. وتتحدث Kimi بصراحة عن الحدود: لا يزال K3 متأخراً عموماً عن Claude Fable 5 و GPT 5.6 Sol، وهو حساس لفقدان سجل التفكير داخل بيئة الوكلاء، وقد يتصرف وفق افتراضاته الخاصة عندما تكون نية المستخدم غامضة.