Moonshot AI випускає Kimi K3.1 Pro, відкрито зважену мультимодальну агентну модель

Moonshot AI випустила Kimi K3.1 Pro, відкрито зважену нативно мультимодальну агентну модель і найпотужнішу модель класу 3T на сьогодні. Донавчена від Kimi K3 за допомогою масштабного спільного навчання з підкріпленням у сотнях прикладних доменів, це перша модель серії K3.1 і вона має контекстне вікно на 1 мільйон токенів. Компанія каже, що вона дає суттєві покращення в програмуванні, 3D-створенні, фінансових дослідженнях, фактичній точності та інших агентних можливостях.

Архітектура та технічні характеристики

Kimi K3.1 Pro використовує архітектуру Mixture-of-Experts з 2,8 трильйона параметрів загалом і 104 мільярдами активованих параметрів. Вона має 93 шари, один щільний шар і склад уваги з 69 шарів KDA плюс 24 шари Gated DSA. Довжина контексту становить 1 048 576 токенів, розмір словника 160K, прихований розмір уваги 7 168 з 96 головами уваги. Порівняно з Kimi K3, повноуважні шари Gated MLA замінено шарами Gated DeepSeek Sparse Attention для ефективнішого моделювання довгого контексту. Модель використовує активацію SiTU-GLU, візуальний кодер MoonViT-V2 з 401 мільйоном параметрів і ваги MXFP4 з активаціями MXFP8 через навчання з урахуванням квантування. У неї 896 експертів, вибираються 16 на токен, і два спільні експерти; латентний розмір MoE становить 3 584, а кожен експерт має прихований розмір 3 072. Налаштування індексу DSA включають розмір голови 128, 32 голови та top-k 2 048.

Результати оцінювання

Якщо не вказано інакше, повідомлені результати отримані при рівні міркування max, температурі 1,0 і top-p 0,95. Символ «-» у вихідній таблиці означає відсутність повідомленого бала. Вищі бали кращі, крім випадків, коли бенчмарк явно вказує, що нижче краще, а бали Elo не є прямо порівнянними з балами точності чи частки проходження.

Kimi K3.1 Pro має 65,7 у Terminal-Bench 4.0, 51,7 у SWE Marathon v1.1, 70,0 у HLE-Full з інструментами, 94,2 у GPQA-Diamond, 79,6 у OSWorld V2.1, 1846 Elo у GDPval-AA v2.1 і 8,3 у Kimi Hallu Bench Hard з інструментами, де нижче краще. Також вона має 75,5 у DeepSWE v1.1, 92,1 у BrowseComp, 90,0 у MMMU-Pro з python, 69,4 у APEX-Agents, 77,1 у внутрішньому Kimi Code Bench 2.0 і 61,2 у внутрішньому бенчмарку Kimi Code Bench 3.0 Long-horizon.

Розгортання та доступність

API доступний на platform.kimi.ai за вибором kimi-k3.1-pro, з API, сумісними з OpenAI і Anthropic. Рекомендовані рушії виведення: vLLM, SGLang і TokenSpeed. Модель випущено за ліцензією Kimi K3.1 Pro License, а питання можна надсилати на [email protected]. На сторінці Hugging Face зазначено 797 завантажень за минулий місяць, Safetensors розміром моделі 2,8 трильйона параметрів, типи тензорів F32, BF16 і U8, дві донавчені моделі в дереві моделей і один Space, що використовує модель.

Використання моделі

Зусилля міркування налаштовуються полем запиту верхнього рівня reasoning_effort, яке підтримує low, high і max, з max за замовчуванням. Для багатоходових розмов і викликів інструментів повне повідомлення асистента, повернуте API, потрібно передавати назад у messages як є, включно з reasoning_content і tool_calls, а не лише content. Повні посібники та приклади охоплюють введення зображень, структурований вивід, частковий режим, вибір інструментів, динамічне завантаження інструментів і кешування контексту.

Джерела: huggingface.co