Needle 2: telefonlar, geyilə bilən cihazlar və robotlar üçün 14 MB-lıq LLM

Cactus Compute alət çağırışı, cihaz idarəsi və struktur veri çıxarılması üçün 45 milyon parametrli açıq Needle 2 modelini buraxıb. Modelin tamamı 14 MB-lıq bir binar faylda yerləşir və təxminən 28 MB RAM-da işləyir; şirkətə görə, o, Simple Attention Network üzərində qurulub, Cactus Quants ilə 2-bit CQ2 kvantlaşdırmasına sıxılıb və öz inference mühərrikinə yerləşdirilib.

Nə üçün nəzərdə tutulub

Açıq söhbət əvəzinə Needle 2 iki işə fokuslanır: istifadəçinin cümləsini tətbiqin təqdim etdiyi funksiyalarla uyğunlaşdırmaq — hansı funksiyanın hansı arqumentlərlə çağırılacağını müəyyən etmək — və qarışıq mətni tipləşdirilmiş sahələrə çevirmək. Şirkətin arqumenti belədir: bu yanaşma nə dünya biliyi, nə də sərbəst mətn generasiyası tələb edir, buna görə adi çatın milyardlarla parametr istədiyi yerdə 45 milyon parametr kifayət edir. Hədəf cihazlar ağıllı ev, robotlar, telefonlar, geyilə bilən cihazlar, AR eynəkləri və avtomobillərdir: GPU və NPU olmadan, bir neçə onlarla meqabayt RAM ilə işləyən avadanlıq.

Nəticələr

Alət çağırışı və mobil cihaz istifadəsi testlərində Needle 2, şirkətin məlumatına görə, 5-70 dəfə kiçik olmasına və 16 bit əvəzinə 2 bitdə işləməsinə baxmayaraq FunctionGemma 270M, LFM2.5 230M və Apple FM kimi modellərlə növbəli şəkildə qalib gəlir. Müqayisə Google-un Mobile-Actions qiymətləndirmə bölməsinə (961 sətir) əsaslanır və Needle 2 buraxılmış binar vasitəsilə başdan-başa ölçülüb.

Sürət göstəriciləri: Raspberry Pi 5-də saniyədə təxminən 500 token (prefill saniyədə 800+ token); Meta Quest 3S və Apple Vision Pro kimi VR eynəklərində saniyədə 400-1500 token; Samsung A seriyası kimi 200 dollardan ucuz telefonlarda saniyədə 300-700 token. Sessiyanın pik yaddaşı təxminən 28 MB-dır, buna görə model ESP32-S3 kimi yeni mikrokontrollerlərdə də işləyir.

Niyə ucuz avadanlıq

Cactus-un mərci ucuz avadanlığa qoyulub: şirkət qeyd edir ki, dünyada təxminən 1,5 milyard fərdi kompüterə qarşı 21 milyarddan çox IoT cihazı var, inkişaf etməkdə olan bazarlardakı telefonların əksəriyyəti 200 dollardan ucuzdur və kənar cihazların təxminən beşdə dördü 200 dollardan aşağı qiymətə başa gəlir. Needle 2 açıq buraxılışdır və elanda ağıllı ev əmrləri, robotun çoxaddımlı hərəkətləri, formların doldurulması və sənədlərdən məlumat çıxarılması kimi nümunələr göstərilir.