Kimi K3՝ 2.8 տրիլիոն պարամետրով բաց մոդել

Moonshot AI ընկերությունը ներկայացրել է Kimi K3-ը՝ իր ամենաուժեղ մոդելը մինչ օրս։ Այն 2.8 տրիլիոն պարամետրով համակարգ է՝ ներկառուցված տեսողության ունակությամբ և մեկ միլիոն թոքենի համատեքստային պատուհանով։ Ընկերությունը ներկայացնում է այն որպես երեք տրիլիոն պարամետրի դասի առաջին բաց մոդել։

Ճարտարապետությունը և մասշտաբավորումը

K3-ը կառուցված է Kimi Delta Attention (KDA) և Attention Residuals (AttnRes) մեխանիզմների վրա՝ երկու փոփոխություն, որոնք ուղղված են նրան, թե ինչպես է տեղեկատվությունը հոսում հաջորդականության երկարությամբ և մոդելի խորությամբ։ Փորձագետների խառնուրդի շերտը Stable LatentMoE շրջանակում ակտիվացնում է 896 փորձագետից 16-ը։ Թարմացված ուսուցման և տվյալների բաղադրատոմսերի հետ միասին, ըստ Kimi-ի, մասշտաբավորման արդյունավետությունը Kimi K2-ի համեմատ աճում է մոտ 2.5 անգամ։ Վերջին տասներկու ամսից ինը ամսում հենց Kimi-ի մոդելներն էին սահմանում բաց մոդելների չափի վերին սահմանը։

Երկարաժամկետ կոդավորում

Միջուկների օպտիմիզացիայի թեստերում յուրաքանչյուր մոդել ինքնուրույն աշխատել է նույնական ավազարկղում մինչև 24 ժամ՝ չորս առաջադրանքների վրա, որոնք ընդգրկում էին AttnRes, KDA և 512 չափողականության գլխիկներով MLA միջուկը՝ NVIDIA Hopper GPU-ների և այլընտրանքային արտադրողի ընդհանուր նշանակության GPU-ների վրա։ Ըստ Kimi-ի՝ K3-ը մրցունակ է եղել Claude Fable 5-ի հետ, որը գնահատել է երրորդ կողմը, և հստակ առաջ է անցել Claude Opus 4.8-ից, GPT 5.6 Sol-ից ու GPT 5.5-ից։

K3-ը նաև ստեղծել է MiniTriton-ը՝ Triton-ի նմանությամբ կոմպակտ կոմպիլյատոր, որն ունի MLIR-ի վրա հիմնված tile մակարդակի սեփական IR շերտ և PTX կոդի գեներացման հոսք։ Աջակցվող roofline բենչմարքներում այն հավասարվել է կամ գերազանցել է Triton-ին ու torch.compile-ին որոշ ծանրաբեռնվածություններում, և ապահովել է nanoGPT-ի ամբողջական ուսուցում կայուն կոնվերգենցիայով։ Մեկ այլ ինքնավար աշխատանքում K3-ի վաղ տարբերակը 48 ժամում նախագծել և ստուգել է չիպ՝ սեփական ճարտարապետության վրա կառուցված nano մոդելի համար՝ բաց կոդով EDA գործիքներով Nangate 45 նմ գրադարանում. 4 մմ² մակերես, ժամանակի փակում 100 ՄՀց-ով և ավելի քան 8,700 թոքեն վայրկյանում ապակոդավորման արագություն սիմուլյացիայում։

Գիտելիքի աշխատանքը և սահմանափակումները

Հետազոտական առաջադրանքներում K3-ը վերարտադրել է I–Love–Q ունիվերսալ առնչությունները հաշվողական աստղաֆիզիկայում. ստուգել է 20-ից ավելի հոդվածներ, գնահատել ավելի քան 300 վիճակի հավասարումներ և գեներացրել 3,000-ից ավելի տող Python կոդ։ Ըստ Kimi-ի՝ փորձառու հետազոտողին այդ աշխատանքը սովորաբար տևում է մեկից երկու շաբաթ, իսկ այստեղ այն ավարտվել է մոտ երկու ժամում։ Ներքին դեպքերից են AI ASIC արդյունաբերության 42-ամյա պատմության հետազոտությունը և 391 գրավիտացիոն ալիքի դեպքի վերլուծությունը՝ 20-ից ավելի զուգահեռ ենթագործակալներով։

K3-ն արդեն հասանելի է Kimi.ai-ում, Kimi Work-ում, Kimi Code-ում և Kimi API-ում՝ լռելյայն մտածողության առավելագույն ջանքով։ Մոդելի ամբողջական կշիռների հրապարակումը նախատեսվում է մինչև 2026 թվականի հուլիսի 27-ը՝ տեխնիկական զեկույցի հետ միասին։ Kimi-ն բացահայտ խոսում է սահմանափակումների մասին. K3-ը ընդհանուր առմամբ դեռ զիջում է Claude Fable 5-ին և GPT 5.6 Sol-ին, զգայուն է գործակալի միջավայրում մտածողության պատմության կորստի նկատմամբ և մշուշոտ մտադրության դեպքում կարող է գործել սեփական ենթադրություններով։