Kimi K3 — відкрита модель на 2,8 трильйона параметрів

Компанія Moonshot AI представила Kimi K3 — свою найпотужнішу модель на сьогодні. Це система на 2,8 трильйона параметрів із вбудованим зором і контекстним вікном на один мільйон токенів. Компанія називає її першою відкритою моделлю в класі трьох трильйонів параметрів.

Архітектура та масштабування

K3 побудована на Kimi Delta Attention (KDA) та Attention Residuals (AttnRes) — двох змінах, які впливають на те, як інформація передається вздовж довжини послідовності та глибини моделі. Шар суміші експертів активує 16 з 896 експертів у межах Stable LatentMoE. Разом із переглянутими рецептами навчання й даних це, за словами Kimi, дає приблизно 2,5-кратне зростання ефективності масштабування порівняно з Kimi K2. У дев'яти з останніх дванадцяти місяців саме моделі Kimi задавали верхню межу розміру відкритих моделей.

Тривале програмування

У тестах оптимізації ядер кожна модель працювала незалежно в ідентичній пісочниці до 24 годин над чотирма завданнями, що охоплювали AttnRes, KDA та ядро MLA з 512-вимірними головами на GPU NVIDIA Hopper і GPU загального призначення від альтернативного виробника. За даними Kimi, K3 показала результат на рівні Claude Fable 5, яку оцінювала третя сторона і яка могла використовувати резервну поведінку, та помітно випередила Claude Opus 4.8, GPT 5.6 Sol і GPT 5.5.

K3 також створила MiniTriton — компактний компілятор, подібний до Triton, із власним IR-шаром рівня tile поверх MLIR і конвеєром генерації коду PTX. На підтримуваних roofline-бенчмарках він зрівнявся або перевершив Triton і torch.compile на частині навантажень і забезпечив наскрізне навчання nanoGPT зі стабільною збіжністю. В іншому автономному запуску рання версія K3 за 48 годин спроєктувала й перевірила чип для nano-моделі на власній архітектурі, використовуючи відкриті EDA-інструменти та бібліотеку Nangate 45 нм: площа 4 мм², закриття таймінгу на 100 МГц і понад 8 700 токенів за секунду декодування в симуляції.

Робота зі знаннями та обмеження

У дослідницьких завданнях K3 відтворила універсальні співвідношення I–Love–Q у обчислювальній астрофізиці: перевірила понад 20 статей, оцінила більш ніж 300 рівнянь стану та згенерувала понад 3 000 рядків коду Python. За словами Kimi, така робота зазвичай займає в досвідченого дослідника від одного до двох тижнів, а тут її виконали приблизно за дві години. Серед внутрішніх кейсів — 42-річна історія індустрії AI ASIC і аналіз 391 події гравітаційних хвиль із понад 20 одночасними субагентами.

K3 уже доступна на Kimi.ai, у Kimi Work, Kimi Code та Kimi API і за замовчуванням працює з максимальним рівнем міркувань. Повні ваги моделі планують опублікувати до 27 липня 2026 року разом із технічним звітом. Kimi відкрито говорить про межі: загалом K3 усе ще поступається Claude Fable 5 і GPT 5.6 Sol, чутлива до втрати історії міркувань в агентному середовищі та може діяти за власними припущеннями, коли намір користувача нечіткий.