Kimi K3 — ღია მოდელი 2.8 ტრილიონი პარამეტრით

კომპანია Moonshot AI-მ წარადგინა Kimi K3 — თავისი ყველაზე შესაძლებლიანი მოდელი. ეს არის 2.8 ტრილიონი პარამეტრის მქონე სისტემა ვიზუალური ინფორმაციის ბუნებრივი აღქმითა და ერთი მილიონი ტოკენის კონტექსტური ფანჯრით. კომპანია მას სამი ტრილიონი პარამეტრის კლასის პირველ ღია მოდელად წარმოადგენს.

არქიტექტურა და მასშტაბირება

K3 აგებულია Kimi Delta Attention-ზე (KDA) და Attention Residuals-ზე (AttnRes) — ორ ცვლილებაზე, რომლებიც არეგულირებენ, როგორ გადადის ინფორმაცია მიმდევრობის სიგრძესა და მოდელის სიღრმეზე. ექსპერტების შერევის ფენა 896 ექსპერტიდან 16-ს ააქტიურებს Stable LatentMoE ჩარჩოში. განახლებულ სასწავლო და მონაცემთა რეცეპტებთან ერთად, Kimi-ის მტკიცებით, მასშტაბირების ეფექტიანობა Kimi K2-თან შედარებით დაახლოებით 2.5-ჯერ იზრდება. ბოლო თორმეტი თვიდან ცხრაში სწორედ Kimi-ის მოდელები ადგენდნენ ღია მოდელების ზომის ზედა ზღვარს.

გრძელვადიანი კოდირება

ბირთვების ოპტიმიზაციის ტესტებში თითოეული მოდელი დამოუკიდებლად მუშაობდა იდენტურ სენდბოქსში 24 საათამდე, ოთხ დავალებაზე, რომლებიც მოიცავდა AttnRes-ს, KDA-ს და 512-განზომილებიანი თავის MLA ბირთვს NVIDIA Hopper-ის GPU-ებზე და ალტერნატიული მწარმოებლის ზოგადი დანიშნულების GPU-ებზე. Kimi-ის ცნობით, K3 კონკურენტუნარიანი აღმოჩნდა Claude Fable 5-თან, რომელიც მესამე მხარემ შეაფასა და შესაძლოა სარეზერვო ქცევასაც მოიცავდეს, და მკაფიოდ გაუსწრო Claude Opus 4.8-ს, GPT 5.6 Sol-სა და GPT 5.5-ს.

K3-მ ასევე შექმნა MiniTriton — კომპაქტური, Triton-ის მსგავსი კომპილატორი, რომელსაც აქვს საკუთარი tile-დონის IR ფენა MLIR-ზე და PTX კოდის გენერაციის კონვეიერი. მხარდაჭერილ roofline ბენჩმარკებზე ის ზოგიერთ დატვირთვაზე Triton-სა და torch.compile-ს გაუტოლდა ან გაუსწრო და nanoGPT-ის სრული წვრთნა სტაბილური კონვერგენციით ჩაატარა. სხვა ავტონომიურ გაშვებაში K3-ის ადრეულმა ვერსიამ 48 საათში დააპროექტა და გადაამოწმა ჩიპი საკუთარ არქიტექტურაზე აგებული nano მოდელისთვის, ღია კოდის EDA ხელსაწყოებით Nangate 45nm ბიბლიოთეკაზე: 4 მმ² ფართობი, დროის ჩაკეტვა 100 MHz-ზე და 8,700 ტოკენზე მეტი წამში დეკოდირების გამტარუნარიანობა სიმულაციაში.

ცოდნის სამუშაო და შეზღუდვები

კვლევით დავალებებზე K3-მ აღადგინა I–Love–Q უნივერსალური დამოკიდებულებები გამოთვლით ასტროფიზიკაში: გადაამოწმა 20-ზე მეტი ნაშრომი, შეაფასა 300-ზე მეტი მდგომარეობის განტოლება და დაწერა 3,000-ზე მეტი ხაზი Python კოდს — სამუშაო, რომელსაც Kimi-ის თქმით გამოცდილ მკვლევარს ჩვეულებრივ ერთიდან ორ კვირამდე სჭირდება და რომელიც დაახლოებით ორ საათში დასრულდა. შიდა შემთხვევებს შორისაა AI ASIC ინდუსტრიის 42-წლიანი ისტორიის კვლევა და 391 გრავიტაციული ტალღის მოვლენის ანალიზი, რომელიც 20-ზე მეტი პარალელური სუბაგენტით ჩატარდა.

K3 უკვე ხელმისაწვდომია Kimi.ai-ზე, Kimi Work-ში, Kimi Code-ში და Kimi API-ში, ნაგულისხმევად აზროვნების მაქსიმალური ძალისხმევით. მოდელის სრული წონების გამოქვეყნება 27 ივლისს, 2026 წელს იგეგმება, ტექნიკური ანგარიშის თანხლებით. Kimi ღიად საუბრობს შეზღუდვებზე: K3 მთლიანობაში მაინც ჩამორჩება Claude Fable 5-სა და GPT 5.6 Sol-ს, მგრძნობიარეა აზროვნების ისტორიის დაკარგვის მიმართ აგენტის გარემოში და ბუნდოვანი მოთხოვნისას შესაძლოა საკუთარი ვარაუდით იმოქმედოს.