Kimi K3: 2,8 trilyon parametrli açıq model

Moonshot AI indiyədək ən qabiliyyətli modeli olan Kimi K3-ü təqdim edib. Bu, daxili görmə qabiliyyəti və bir milyon tokenlik kontekst pəncərəsi olan 2,8 trilyon parametrli sistemdir. Şirkət onu üç trilyon parametr sinfində ilk açıq model kimi təqdim edir.

Arxitektura və miqyaslama

K3 informasiyanın ardıcıllıq uzunluğu və model dərinliyi boyunca necə axdığını hədəfləyən iki dəyişiklik üzərində qurulub: Kimi Delta Attention (KDA) və Attention Residuals (AttnRes). Ekspertlər qarışığı qatı Stable LatentMoE çərçivəsində 896 ekspertdən 16-sını işə salır. Yenilənmiş təlim və məlumat reseptləri ilə birlikdə, Kimi-nin sözlərinə görə, miqyaslama səmərəliliyi Kimi K2 ilə müqayisədə təxminən 2,5 dəfə artır. Son on iki ayın doqquzunda açıq modellərin ölçü yuxarı həddini məhz Kimi modelləri müəyyən edib.

Uzunmüddətli kodlaşdırma

Nüvə optimallaşdırma testlərində hər model eyni sandboxda 24 saata qədər müstəqil işləyib; tapşırıqlar AttnRes, KDA və 512 baş ölçülü MLA nüvəsini NVIDIA Hopper GPU-ları və alternativ istehsalçının ümumi təyinatlı GPU-ları üzərində əhatə edirdi. Kimi-nin məlumatına görə, K3 üçüncü tərəf tərəfindən qiymətləndirilən və ehtiyat davranışı ehtiva edə bilən Claude Fable 5 ilə rəqabətli nəticə göstərib və Claude Opus 4.8, GPT 5.6 Sol və GPT 5.5-i açıq şəkildə geridə qoyub.

K3 həmçinin MiniTriton-u yaradıb: MLIR üzərində öz tile səviyyəli IR qatına və PTX kod generasiyası xəttinə malik, Triton-a bənzər kompakt kompilyator. Dəstəklənən roofline benchmarklarında bəzi iş yüklərində Triton və torch.compile ilə bərabərləşib və ya onları üstələyib, həmçinin nanoGPT təlimini sabit yaxınlaşma ilə başdan-başa davam etdirib. Başqa bir avtonom işləmədə K3-ün erkən versiyası öz arxitekturasına əsaslanan nano model üçün 48 saat içində çip layihələndirib və yoxlayıb: açıq mənbəli EDA alətləri ilə Nangate 45 nm kitabxanasında 4 mm² sahə, 100 MHz-də zamanlamanın bağlanması və simulyasiyada saniyədə 8.700-dən çox token dekodlama sürəti.

Bilik işləri və məhdudiyyətlər

Tədqiqat tapşırıqlarında K3 hesablama astrofizikasında I–Love–Q universal əlaqələrini bərpa edib: 20-dən çox məqaləni çarpaz yoxlayıb, 300-dən çox hal tənliyini qiymətləndirib və 3.000-dən çox sətir Python kodu yaradıb. Kimi-nin sözlərinə görə, təcrübəli tədqiqatçı üçün bu iş adətən bir-iki həftə çəkir, burada isə təxminən iki saatda tamamlanıb. Şirkətin daxili nümunələri arasında AI ASIC sənayesinin 42 illik tarixi və 20-dən çox paralel subagentlə aparılan 391 qravitasiya dalğası hadisəsinin təhlili var.

K3 hazırda Kimi.ai, Kimi Work, Kimi Code və Kimi API-də əlçatandır və standart olaraq maksimum düşünmə səyi ilə işləyir. Modelin tam çəkilərinin 27 iyul 2026-cı ilə qədər texniki hesabatla birlikdə yayımlanması planlaşdırılır. Kimi məhdudiyyətlər barədə açıq danışır: K3 ümumilikdə hələ də Claude Fable 5 və GPT 5.6 Sol-dan geri qalır, agent mühitində düşünmə tarixçəsinin itirilməsinə həssasdır və istifadəçinin niyyəti qeyri-müəyyən olduqda öz fərziyyələri ilə hərəkət edə bilər.