Needle 2. 14 ՄԲ ագենտային LLM՝ հեռախոսների, կրելի սարքերի և ռոբոտների համար

Cactus Compute-ը թողարկել է Needle 2-ը՝ 45 միլիոն պարամետրով բաց մոդել գործիքների կանչի, սարքերի կառավարման և կառուցվածքային տվյալների արդյունահանման համար։ Ամբողջ մոդելը տեղավորվում է 14 ՄԲ մեկ բինար ֆայլում և աշխատում է մոտ 28 ՄԲ օպերատիվ հիշողությամբ. ընկերության խոսքով՝ այն կառուցված է Simple Attention Network-ի վրա, Cactus Quants-ով սեղմված մինչև 2-բիթ CQ2 քվանտացում և ներկառուցված է սեփական ինֆերենս շարժիչում։

Ինչի համար է

Բաց երկխոսության փոխարեն Needle 2-ը լուծում է երկու խնդիր՝ օգտվողի նախադասությունը կապում է հավելվածի առաջարկած ֆունկցիաների հետ (որ ֆունկցիան կանչել և ինչ արգումենտներով) և չկառուցվածքավորված տեքստը վերածում է տիպավորված դաշտերի։ Ընկերության փաստարկը. այս ձևակերպումը չի պահանջում ոչ աշխարհի իմացություն, ոչ ազատ տեքստի գեներացիա, ուստի 45 միլիոն պարամետրը բավարար է այնտեղ, որտեղ սովորական չաթին պետք են միլիարդներ։ Թիրախային սարքերն են՝ խելացի տունը, ռոբոտները, հեռախոսները, կրելի սարքերը, AR ակնոցները և ավտոմեքենաները՝ առանց GPU-ի ու NPU-ի, մի քանի տասնյակ ՄԲ RAM-ով։

Արդյունքները

Գործիքների կանչի և բջջային սարքերի օգտագործման թեստերում, ընկերության տվյալներով, Needle 2-ը հերթով հաղթում է զգալիորեն ավելի մեծ մոդելների՝ FunctionGemma 270M, LFM2.5 230M և Apple FM, չնայած 5-70 անգամ փոքր լինելուն և 16 բիթի փոխարեն 2 բիթով աշխատելուն։ Համեմատությունը հիմնված է Google-ի Mobile-Actions գնահատման բաժնի վրա (961 տող), իսկ Needle 2-ը չափվել է թողարկված բինարի միջոցով՝ ծայրից ծայր։

Արագության ցուցանիշներ. Raspberry Pi 5-ում՝ վայրկյանում մոտ 500 թոքեն (prefill՝ 800+ թոքեն/վրկ), Meta Quest 3S-ի ու Apple Vision Pro-ի նման VR ակնոցներում՝ 400-1500 թոքեն վայրկյանում, 200 դոլարից էժան հեռախոսներում, օրինակ Samsung-ի A շարքում՝ 300-700 թոքեն վայրկյանում։ Սեսիայի գագաթնակետային հիշողությունը մոտ 28 ՄԲ է, ինչի շնորհիվ մոդելը աշխատում է նաև նոր միկրոկարգավորիչներում, օրինակ՝ ESP32-S3։

Ինչու էժան սարքավորում

Cactus-ի խաղադրույքն էժան սարքավորումն է. ընկերությունը նշում է, որ աշխարհում կա 21 միլիարդից ավելի IoT սարք՝ մոտ 1,5 միլիարդ անհատական համակարգչի դիմաց, զարգացող շուկաների հեռախոսների մեծ մասը 200 դոլարից էժան է, իսկ եզրային սարքերի մոտավորապես հինգից չորսը արժեն 200 դոլարից պակաս։ Needle 2-ը բաց թողարկում է, և հայտարարության մեջ ցուցադրված են օրինակներ՝ խելացի տան հրահանգներ, ռոբոտի բազմաքայլ գործողություններ, ձևաթղթերի լրացում և փաստաթղթերից տվյալների արդյունահանում։