Kimi K3: 2,8 trilyon parametreli açık model

Moonshot AI, bugüne kadarki en yetenekli modeli Kimi K3'ü tanıttı. Model, yerleşik görü yeteneğine ve bir milyon token'lık bağlam penceresine sahip 2,8 trilyon parametreli bir sistem. Şirket onu üç trilyon parametre sınıfındaki ilk açık model olarak tanımlıyor.

Mimari ve ölçekleme

K3, bilginin dizi uzunluğu ve model derinliği boyunca nasıl aktığını hedefleyen iki değişiklik üzerine kurulu: Kimi Delta Attention (KDA) ve Attention Residuals (AttnRes). Uzman karışımı katmanı, Stable LatentMoE çerçevesinde 896 uzmandan 16'sını etkinleştiriyor. Yenilenen eğitim ve veri tarifleriyle birlikte Kimi, ölçekleme verimliliğinin Kimi K2'ye kıyasla yaklaşık 2,5 kat arttığını söylüyor. Son on iki ayın dokuzunda açık modellerin boyut üst sınırını Kimi modelleri belirledi.

Uzun soluklu kodlama

Çekirdek optimizasyonu testlerinde her model, aynı kum havuzunda 24 saate kadar bağımsız çalıştı; görevler AttnRes, KDA ve 512 baş boyutlu MLA çekirdeğini NVIDIA Hopper GPU'ları ile alternatif bir üreticinin genel amaçlı GPU'ları üzerinde kapsıyordu. Kimi'ye göre K3, üçüncü bir tarafça değerlendirilen ve yedek davranış içerebilen Claude Fable 5 ile rekabet edebilecek düzeyde sonuç verdi ve Claude Opus 4.8, GPT 5.6 Sol ile GPT 5.5'i açık ara geride bıraktı.

K3 ayrıca MiniTriton'u geliştirdi: MLIR üzerinde kendi tile düzeyi IR katmanına ve PTX kod üretim hattına sahip, Triton benzeri kompakt bir derleyici. Desteklenen roofline kıyaslamalarında bazı iş yüklerinde Triton ve torch.compile ile eşleşti ya da onları geçti; uçtan uca nanoGPT eğitimini kararlı yakınsamayla sürdürdü. Başka bir otonom çalıştırmada K3'ün erken bir sürümü, kendi mimarisine dayanan bir nano model için 48 saat içinde bir çip tasarlayıp doğruladı; Nangate 45 nm kütüphanesinde açık kaynak EDA araçlarıyla 4 mm² alanda 100 MHz'de zamanlamayı kapattı ve simülasyonda saniyede 8.700'ün üzerinde token çözme hızına ulaştı.

Bilgi işleri ve sınırlar

Araştırma görevlerinde K3, hesaplamalı astrofizikteki I–Love–Q evrensel bağıntılarını yeniden üretti: 20'den fazla makaleyi çapraz kontrol etti, 300'den fazla durum denklemini değerlendirdi ve 3.000'den fazla satır Python kodu üretti. Kimi'ye göre deneyimli bir araştırmacının normalde bir-iki hafta sürdüreceği bu iş yaklaşık iki saatte tamamlandı. Şirketin iç örnekleri arasında AI ASIC endüstrisinin 42 yıllık tarihi ve 20'den fazla eşzamanlı alt ajanla yürütülen 391 kütleçekim dalgası olayının analizi var.

K3 şu anda Kimi.ai, Kimi Work, Kimi Code ve Kimi API üzerinden kullanılabiliyor ve varsayılan olarak en yüksek düşünme eforuyla çalışıyor. Modelin tam ağırlıklarının 27 Temmuz 2026'ya kadar teknik raporla birlikte yayımlanması planlanıyor. Kimi sınırlar konusunda açık: K3 genel olarak Claude Fable 5 ve GPT 5.6 Sol'un gerisinde, ajan ortamında düşünme geçmişinin kaybolmasına duyarlı ve kullanıcının niyeti belirsizken kendi varsayımlarıyla hareket edebiliyor.