PrismML-ը ներկայացրել է 1-բիթանոց Bonsai Image 4B-ն՝ պատկերների լոկալ գեներացիայի համար

PrismML ընկերությունը ներկայացրել է Bonsai Image 4B-ն՝ կոմպակտ պատկերագեներացիայի մոդելների ընտանիք, որը նախատեսված է լոկալ սարքավորումների վրա աշխատելու համար՝ նոութբուքերից մինչև հեռախոսներ։ Մոդելը հասանելի է երկու տարբերակով․ 1-բիթանոց Bonsai Image 4B-ն օգտագործում է բինար {−1, +1} տրանսֆորմերային կշիռներ FP16 խմբային մասշտաբավորման գործակցով, իսկ եռարժեք տարբերակը ավելացնում է զրոյական վիճակ՝ {−1, 0, +1}։

Ինչ է փոխում երկու տարբերակը

Բինար տարբերակը հասնում է 1,125 արդյունավետ բիթի մեկ կշռի հաշվով և ուղղված է առավելագույն սեղմմանը, երբ հիմնական սահմանափակումները հիշողությունն են, թողունակությունը և տեղաբաշխման ծավալը։ Եռարժեք մոդելը մնում է 1,71 արդյունավետ բիթի վրա․ լրացուցիչ զրոյական վիճակը ավելի մեծ ներկայացման ազատություն է տալիս և բարելավում պատկերի որակն ու հրահանգին հետևելու ճշգրտությունը։ Երկու մոդելներն էլ կառուցված են FLUX.2 Klein 4B-ի վրա․ ճարտարապետությունը մնում է անփոփոխ, փոխվում է միայն տրանսֆորմերի կշիռների ներկայացման ձևը։

Հիշողություն և տեղաբաշխում

4B դասի պատկերի մոդելում ամենամեծ մասը դիֆուզիոն տրանսֆորմերն է, որը գեներացիայի ընթացքում բազմիցս աշխատում է․ աղմուկազերծման յուրաքանչյուր քայլ նորից կանչում է այն։ Լրիվ ճշգրտությամբ FLUX.2 Klein 4B-ի տրանսֆորմերը զբաղեցնում է 7,75 ԳԲ։ Bonsai-ն այն իջեցնում է 0,93 ԳԲ-ի 1-բիթանոց տարբերակում՝ 8,3 անգամ, և 1,21 ԳԲ-ի եռարժեք տարբերակում՝ 6,4 անգամ։ Ճշգրտության նկատմամբ զգայուն թենզորների փոքր մասը՝ մոտ 5%, մնում է FP16-ում։ Սեղմված տեքստային կոդավորիչի և FP16 VAE-ի հետ միասին Apple Silicon-ի տեղաբաշխման ծավալը կազմում է 3,42 և 3,88 ԳԲ՝ լրիվ ճշգրտության 15,97 ԳԲ-ի դիմաց։

512x512 պատկերի համար բինար և եռարժեք մոդելները միջինում օգտագործում են 1,5 և 1,96 ԳԲ ակտիվ հիշողություն՝ բնօրինակի 11,74 ԳԲ-ի փոխարեն․ 1024x1024-ի դեպքում՝ 1,95 և 2,38 ԳԲ՝ 14,39 ԳԲ-ի դիմաց։ Տեղաբաշխման փաթեթը աջակցում է Apple Silicon-ով iPhone-ներին, iPad-ներին և Mac-երին MLX-ի ցածր բիթային ուղիներով, ինչպես նաև CUDA GPU-ներին՝ Gemlite-ի ցածր բիթային GEMM միջուկներով։

Արագություն և չափումներ

iPhone 17 Pro Max-ում, որտեղ լրիվ ճշգրտության խողովակաշարը չի տեղավորվում սարքի հիշողության մեջ, Bonsai-ն 512x512 պատկերը գեներացնում է 9,4 վայրկյանում․ Mac M4 Pro-ում՝ մոտ 6 վայրկյանում և մինչև 5,6 անգամ ավելի արագ, քան ստանդարտ լրիվ ճշգրտության MFLUX խողովակաշարը։ PrismML-ը մոդելները գնահատել է GenEval, HPSv3 և DPG-Bench թեստերով․ եռարժեք տարբերակը պահպանում է FLUX.2 Klein 4B-ի ճշգրտության 95%-ը՝ տրանսֆորմերը կրճատելով 6,4 անգամ, իսկ 1-բիթանոցը՝ 88%-ը՝ տրանսֆորմերը մեկ գիգաբայթից ցածր պահելով։

Հասանելիություն

Երկու տարբերակն էլ կթողարկվեն բաց կշիռներով և Apache 2.0 լիցենզիայով կոդով՝ Bonsai Studio iOS հավելվածի հետ միասին, որը թույլ է տալիս մոդելը գործարկել անմիջապես iPhone-ում։ PrismML-ի խոսքով՝ Bonsai Image 4B-ն առաջին պատկերային մոդելն է իր պարամետրային դասում, որը աշխատում է անմիջապես iPhone-ի վրա։ Ընկերությունը ձևավորվել է Caltech-ի հետազոտողների թիմից և հիմնադրվել Khosla Ventures-ի, Cerberus-ի և Google-ի աջակցությամբ։