Moonshot AI, Kimi K3.1 Pro Açık Ağırlıklı Çok Modlu Ajan Modelini Yayınladı

Moonshot AI, açık ağırlıklı, doğal olarak çok modlu bir ajan modeli olan ve şu ana kadarki en yetenekli 3T sınıfı modeli Kimi K3.1 Pro'yu yayınladı. Kimi K3'ten, yüzlerce aşağı akış alanında büyük ölçekli ortak pekiştirmeli öğrenme ile son eğitimden geçirilen model, K3.1 serisinin ilk modelidir ve 1 milyon token bağlam penceresi sunar. Şirket, modelin kodlama, 3D oluşturma, finansal araştırma, olgusal doğruluk ve diğer ajan yeteneklerinde önemli iyileşmeler sağladığını söylüyor.

Mimari ve teknik özellikler

Kimi K3.1 Pro, 2.8 trilyon toplam parametre ve 104 milyar aktif parametreyle Mixture-of-Experts mimarisi kullanır. Model 93 katmana, bir dense katmana ve 69 KDA katmanı ile 24 Gated DSA katmanından oluşan bir attention katmanı bileşimine sahiptir. Bağlam uzunluğu 1,048,576 token, sözlük boyutu 160K, attention gizli boyutu 7,168 ve 96 attention head vardır. Kimi K3 ile karşılaştırıldığında, tam attention Gated MLA katmanları daha verimli uzun bağlam modellemesi için Gated DeepSeek Sparse Attention katmanlarıyla değiştirilmiştir. Model, SiTU-GLU aktivasyonu, 401 milyon parametreli MoonViT-V2 vision encoder ve kuantizasyon farkındalıklı eğitim aracılığıyla MXFP4 ağırlıklar ile MXFP8 aktivasyonları kullanır. Modelde 896 uzman bulunur, token başına 16 uzman seçer ve iki shared uzman içerir; latent MoE boyutu 3,584 ve her uzmanın gizli boyutu 3,072'dir. DSA indeks ayarları 128 head boyutu, 32 head ve 2,048 top-k içerir.

Değerlendirme sonuçları

Başka şekilde belirtilmedikçe, bildirilen sonuçlar akıl yürütme çabası max, sıcaklık 1.0 ve top-p 0.95 ayarlarıyla elde edilmiştir. Kaynak tablodaki tire, bildirilen bir puan olmadığı anlamına gelir. Bir kıyas açıkça daha düşük daha iyi demedikçe daha yüksek puanlar daha iyidir ve Elo puanları doğruluk veya geçme oranı puanlarıyla doğrudan karşılaştırılabilir değildir.

Kimi K3.1 Pro, Terminal-Bench 4.0'da 65.7, SWE Marathon v1.1'de 51.7, araçlı HLE-Full'da 70.0, GPQA-Diamond'da 94.2, OSWorld V2.1'de 79.6, GDPval-AA v2.1'de 1846 Elo ve araçlı Kimi Hallu Bench Hard'da 8.3 (burada daha düşük daha iyidir) puan alır. Ayrıca DeepSWE v1.1'de 75.5, BrowseComp'ta 92.1, python ile MMMU-Pro'da 90.0, APEX-Agents'ta 69.4, dahili Kimi Code Bench 2.0'da 77.1 ve dahili Kimi Code Bench 3.0 Long-horizon kıyaslamasında 61.2 puan alır.

Dağıtım ve kullanılabilirlik

API, kimi-k3.1-pro seçerek platform.kimi.ai adresinde kullanılabilir ve OpenAI- ve Anthropic-uyumlu API'ler sunar. Önerilen çıkarım motorları vLLM, SGLang ve TokenSpeed'tir. Model, Kimi K3.1 Pro License altında yayınlanmıştır ve sorular [email protected] adresine gönderilebilir. Hugging Face sayfası, geçen ay 797 indirme, 2.8 trilyon parametre model boyutuyla Safetensors, F32, BF16 ve U8 tensor türleri, model ağacında iki ince ayarlanmış model ve modeli kullanan bir Space listeler.

Model kullanımı

Düşünme çabası, low, high ve max değerlerini destekleyen ve varsayılanı max olan üst düzey reasoning_effort istek alanı ile yapılandırılır. Çok turlu konuşmalar ve araç çağrıları için API tarafından döndürülen tam assistant mesajı, yalnızca content değil reasoning_content ve tool_calls dahil olmak üzere olduğu gibi messages alanına geri geçirilmelidir. Tam kılavuzlar ve örnekler görüntü girdisi, yapılandırılmış çıktı, kısmi mod, araç seçimi, dinamik araç yükleme ve bağlam önbelleğe alma konularını kapsar.

Kaynaklar: huggingface.co