Kimi K3 — מודל פתוח עם 2.8 טריליון פרמטרים
Kimi K3 של Moonshot AI הוא מודל בן 2.8 טריליון פרמטרים עם ראייה מובנית וחלון הקשר של מיליון טוקנים. המשקולות אמורות להתפרסם עד 27 ביולי 2026, אך החברה מודה שהמודל עדיין מפגר אחרי המודלים הקנייניים המובילים.
חברת Moonshot AI הציגה את Kimi K3, המודל החזק ביותר שלה עד כה: מערכת בת 2.8 טריליון פרמטרים עם ראייה מובנית וחלון הקשר של מיליון טוקנים. החברה מתארת אותו כמודל הפתוח הראשון בקטגוריית שלושת הטריליון פרמטרים.
ארכיטקטורה וסקיילינג
K3 בנוי על Kimi Delta Attention (KDA) ועל Attention Residuals (AttnRes) — שני שינויים שמשפיעים על אופן זרימת המידע לאורך רצף הטוקנים ובעומק המודל. שכבת תערובת המומחים מפעילה 16 מתוך 896 מומחים במסגרת Stable LatentMoE. יחד עם מתכוני אימון ונתונים מעודכנים, טוענת Kimi, השיפור ביעילות הסקיילינג לעומת Kimi K2 עומד על פי 2.5 בערך. בתשעה מתוך שנים עשר החודשים האחרונים דווקא מודלים של Kimi קבעו את גבול הגודל העליון של מודלים פתוחים.
קוד לטווח ארוך
במבחני אופטימיזציה של קרנלים כל מודל עבד באופן עצמאי בארגז חול זהה עד 24 שעות על ארבע משימות שכללו AttnRes, KDA וקרנל MLA עם ראשים בגודל 512 ממדים, על מעבדי NVIDIA Hopper ועל מעבדים גרפיים לשימוש כללי מיצרן חלופי. לפי Kimi, K3 השיג ביצועים תחרותיים מול Claude Fable 5, שהוערך בידי צד שלישי ועשוי לכלול התנהגות חלופית, והקדים בבירור את Claude Opus 4.8, GPT 5.6 Sol ו-GPT 5.5.
K3 גם בנה את MiniTriton — מהדר קומפקטי בסגנון Triton עם שכבת IR משלו ברמת tile מעל MLIR וצינור יצירת קוד PTX. בבנצ'מרקים נתמכים הוא השתווה ל-Triton ול-torch.compile או עקף אותם בחלק מעומסי העבודה, והשלים אימון nanoGPT מקצה לקצה בהתכנסות יציבה. בהרצה אוטונומית נוספת גרסה מוקדמת של K3 תכננה ואימתה שבב עבור מודל nano המבוסס על הארכיטקטורה שלה בתוך 48 שעות, באמצעות כלי EDA בקוד פתוח על ספריית Nangate 45 ננומטר: שטח של 4 מ״ר, סגירת תזמון ב-100 מגה-הרץ ותפוקת פענוח של יותר מ-8,700 טוקנים לשנייה בסימולציה.
עבודת ידע ומגבלות
במשימות מחקריות K3 שחזר את יחסי האוניברסליות I–Love–Q באסטרופיזיקה חישובית: הוא הצליב יותר מ-20 מאמרים, העריך למעלה מ-300 משוואות מצב ויצר יותר מ-3,000 שורות קוד Python — עבודה שלדברי Kimi אורכת לחוקר מנוסה שבוע עד שבועיים, והושלמה כאן בכשעתיים. בין מקרי הבוחן הפנימיים: מחקר על 42 שנות תעשיית AI ASIC וניתוח של 391 אירועי גלי כבידה שהורץ עם יותר מ-20 סוכני משנה במקביל.
K3 זמין כעת ב-Kimi.ai, ב-Kimi Work, ב-Kimi Code וב-Kimi API, וברירת המחדל שלו היא מאמץ חשיבה מרבי. המשקולות המלאות של המודל מתוכננות להתפרסם עד 27 ביולי 2026, יחד עם דוח טכני. Kimi מדברת בגלוי על המגבלות: בסך הכול K3 עדיין מפגר אחרי Claude Fable 5 ו-GPT 5.6 Sol, רגיש לאובדן היסטוריית החשיבה בסביבת סוכנים, ועלול לפעול לפי הנחות משלו כשכוונת המשתמש עמומה.
SiTech — פיתוח אתרים בכוח ה-AI
אנחנו בונים אתרים מהירים ומודרניים ומשלבים AI בתהליכי עבודה אמיתיים. יש לכם פרויקט או שאלה? נשמח לעזור.