PrismML-ը թողարկել է Bonsai 2 27B-ը՝ 9 անգամ փոքր չափով

Կալիֆորնիայի տեխնոլոգիական ինստիտուտի հետազոտողների թիմից ձևավորված PrismML ընկերությունը սեպտեմբերի 17-ին թողարկել է Ternary Bonsai 2 27B-ը՝ Qwen3.8 27B-ի վրա հիմնված բազմամոդալ մոդել, որը շատ ավելի քիչ հիշողություն է պահանջում, քան այն լրիվ ճշգրտության տարբերակը, որից ստացվել է։ Ընկերության խոսքով՝ սա տեղային սարքերում աշխատելու համար նախատեսված մոդելների շարքի ամենամեծ քայլն է երկու ամիս առաջ առաջին Bonsai 27B-ից հետո։

Մոդելն օգտագործում է երեքարժեք կշիռներ՝ մինուս մեկ, զրո կամ մեկ, FP16 խմբային մասշտաբավորմամբ, ինչը տալիս է 1,76 արդյունավետ բիթ մեկ կշռի համար։ Ընդհանուր ծավալը 5,9 ԳԲ է, կոնտեքստի պատուհանը հասնում է 262 հազար տոկենի, իսկ մոդելը մշակում է և՛ տեքստ, և՛ պատկերներ։ Այն տարածվում է Apache 2.0 լիցենզիայով, կշիռներն արդեն հասանելի են։

Թեստերի արդյունքները

Մտածողությունը, մաթեմատիկան, կոդը, հրահանգների կատարումը, տեսողությունը և գործակալային գործիքների օգտագործումը ընդգրկող թեստերի հավաքածուում Ternary Bonsai 2 27B-ը հավաքում է 83,9 միավոր և պահպանում Qwen3.8 27B-ի ընդհանուր արդյունքի 98,2%-ը։ Համեմատության համար՝ լրիվ ճշգրտության Qwen3.8 27B-ն ունի 85,4, իսկ նախորդ Qwen3.6 27B-ը՝ 83,6։

Ըստ կատեգորիաների՝ սեղմված մոդելը գերազանցում է լրիվ տարբերակին հրահանգների կատարման մեջ՝ 82,66 ընդդեմ 81,25-ի, իսկ Qwen3.6 27B-ի մոտ՝ 74,53։ Մաթեմատիկան՝ 96,57 (լրիվում՝ 97,06), կոդը՝ 81,58 (82,17), գործակալային առաջադրանքներն ու գործիքների կանչերը՝ 77,57 (79,74), գիտելիքն ու մտածողությունը՝ 83,95 (86,66), տեսողությունը՝ 78,59 (81,64)։

Ինչու է սեղմումը կարևոր

PrismML-ի տվյալներով՝ նախորդ Bonsai 27B-ը պահպանում էր լրիվ ճշգրտության մոդելի արդյունքի 95%-ը, իսկ նոր տարբերակը բարձրացնում է այդ ցուցանիշը 98%-ից բարձր, ինչը ընկերությունը համարում է գործնականում առանց կորուստների։ Կոդի գործակալները, գործիքների վրա հիմնված համակարգերը, բազմամոդալ հոսքերը և երկար առաջադրանքները հատկապես զգայուն են մոդելի դեգրադացիայի նկատմամբ, քանի որ փոքր սխալները կուտակվում են բազմաթիվ քայլերում, և ընկերության պնդմամբ հենց այդ ոլորտներում Bonsai 2 27B-ը պահում է ունակության մեծ մասը՝ շատ ավելի քիչ հիշողությամբ։

Արագության առումով մոդելը հասնում է վայրկյանում 143 տոկենի NVIDIA GeForce RTX 5090-ի վրա և 46,8 տոկենի՝ M5 Max-ի վրա։ RTX 4090-ի վրա այն ծախսում է 0,714 մՎտժ մեկ տոկենի համար, ինչը, ըստ ընկերության, 40%-ով ավելի էներգաարդյունավետ է դարձնում լրիվ ճշգրտությամբ աշխատող 8B մոդելից։ Այն աշխատում է NVIDIA-ի GPU-ներում CUDA-ի միջոցով, իսկ Apple-ի սարքերում (Mac, iPhone, iPad)՝ MLX-ով՝ ցածր բիթերի հատուկ միջուկներով։

Նախապատմություն

Նախորդ սերունդը՝ Bonsai 27B-ը, հայտնվել է 2026 թվականի հուլիսին՝ 5,9 ԳԲ երեքարժեք տարբերակը նոութբուքերի համար և 3,9 ԳԲ մեկ բիթանոց տարբերակը iPhone 17 Pro-ի համար, երկուսն էլ 262 հազար տոկենի կոնտեքստով։ PrismML-ը նշում է, որ հիմնադրվել է Khosla Ventures-ի, Cerberus-ի և Google-ի աջակցությամբ, իսկ Samsung-ը շարունակում է աջակցել ընկերությանը։