Moonshot AI משחררת את Kimi K3.1 Pro, מודל סוכן מולטימודלי במשקלים פתוחים

Moonshot AI שחררה את Kimi K3.1 Pro, מודל סוכן מולטימודלי באופן ילידי במשקלים פתוחים והמודל המסוגל ביותר שלה בדרגת 3T עד כה. הוא עבר אימון לאחר האימון הראשוני מ-Kimi K3 עם למידת חיזוק משותפת בקנה מידה גדול על פני מאות תחומים במורד הזרם, והוא המודל הראשון בסדרת K3.1 ומביא חלון הקשר של מיליון טוקנים. החברה אומרת שהוא מספק שיפורים משמעותיים בקידוד, ביצירה תלת-ממדית, במחקר פיננסי, בדיוק עובדתי וביכולות סוכניות נוספות.

ארכיטקטורה ומפרטים

Kimi K3.1 Pro משתמש בארכיטקטורת Mixture-of-Experts עם 2.8 טריליון פרמטרים בסך הכול ו-104 מיליארד פרמטרים פעילים. יש לו 93 שכבות, שכבה צפופה אחת והרכב שכבות קשב של 69 שכבות KDA ועוד 24 שכבות Gated DSA. אורך ההקשר הוא 1,048,576 טוקנים, גודל אוצר המילים הוא 160K וממד הקשב הנסתר הוא 7,168 עם 96 ראשי קשב. בהשוואה ל-Kimi K3, שכבות Gated MLA עם קשב מלא מוחלפות בשכבות Gated DeepSeek Sparse Attention לצורך מידול יעיל יותר של הקשר ארוך. המודל משתמש בהפעלת SiTU-GLU, במקודד חזותי MoonViT-V2 עם 401 מיליון פרמטרים ובמשקלי MXFP4 עם הפעלות MXFP8 דרך אימון מודע לקוונטיזציה. יש לו 896 מומחים, הוא בוחר 16 לכל טוקן וכולל שני מומחים משותפים; ממד ה-MoE הלטנטי הוא 3,584 ולכל מומחה ממד נסתר של 3,072. הגדרות האינדקס של DSA כוללות ממד ראש של 128, 32 ראשים ו-top-k של 2,048.

תוצאות הערכה

אלא אם צוין אחרת, התוצאות המדווחות משתמשות במאמץ החשיבה מוגדר ל-max, בטמפרטורה 1.0 וב-top-p 0.95. מקף בטבלת המקור פירושו שלא דווח ציון. ציונים גבוהים יותר עדיפים, למעט במקרים שבהם בנצ'מרק מציין במפורש שנמוך עדיף, וציוני Elo אינם ניתנים להשוואה ישירה לציוני דיוק או שיעור מעבר.

Kimi K3.1 Pro משיג 65.7 ב-Terminal-Bench 4.0, 51.7 ב-SWE Marathon v1.1, 70.0 ב-HLE-Full עם כלים, 94.2 ב-GPQA-Diamond, 79.6 ב-OSWorld V2.1, 1846 Elo ב-GDPval-AA v2.1, ו-8.3 ב-Kimi Hallu Bench Hard עם כלים, כאשר נמוך עדיף. הוא גם משיג 75.5 ב-DeepSWE v1.1, 92.1 ב-BrowseComp, 90.0 ב-MMMU-Pro עם python, 69.4 ב-APEX-Agents, 77.1 בבנצ'מרק הפנימי Kimi Code Bench 2.0, ו-61.2 בבנצ'מרק הפנימי Kimi Code Bench 3.0 Long-horizon.

פריסה וזמינות

ה-API זמין ב-platform.kimi.ai על ידי בחירת kimi-k3.1-pro, עם APIs תואמי OpenAI ו-Anthropic. מנועי האינפרנס המומלצים הם vLLM, SGLang ו-TokenSpeed. המודל משוחרר תחת Kimi K3.1 Pro License, ושאלות ניתן לשלוח ל[email protected]. עמוד Hugging Face מפרט 797 הורדות בחודש שעבר, Safetensors עם גודל מודל של 2.8 טריליון פרמטרים, סוגי טנסור F32, BF16 ו-U8, שני מודלים מכווננים בעץ המודל, ו-Space אחד שמשתמש במודל.

שימוש במודל

מאמץ החשיבה מוגדר באמצעות שדה הבקשה ברמה העליונה reasoning_effort, שתומך ב-low, high ו-max, כאשר max הוא ברירת המחדל. בשיחות מרובות תורות ובקריאות לכלים, יש להעביר בחזרה לשדה messages את הודעת העוזר המלאה שהוחזרה על ידי ה-API כפי שהיא, כולל reasoning_content ו-tool_calls, ולא רק content. מדריכים ודוגמאות מלאים מכסים קלט חזותי, פלט מובנה, מצב חלקי, בחירת כלים, טעינה דינמית של כלים ושמירה במטמון של הקשר.

מקורות: huggingface.co