Needle 2: telefonlar, giyilebilir cihazlar ve robotlar için 14 MB'lık LLM

Cactus Compute, araç çağırma, cihaz kullanımı ve yapılandırılmış veri çıkarımı için 45 milyon parametreli açık modeli Needle 2'yi yayımladı. Modelin tamamı tek bir 14 MB'lık ikili dosyada yer alıyor ve yaklaşık 28 MB RAM'de çalışıyor; şirkete göre model Simple Attention Network üzerine kurulu, Cactus Quants ile 2 bitlik CQ2 kuantizasyonuna sıkıştırılmış ve kendi çıkarım motoruna gömülmüş.

Ne için tasarlandı

Needle 2, serbest sohbet yerine iki işe odaklanıyor: kullanıcının cümlesini uygulamanın sunduğu fonksiyonlarla eşleştirmek — hangi fonksiyonun hangi argümanlarla çağrılacağını belirlemek — ve dağınık metni tipli alanlara dönüştürmek. Şirketin argümanı şu: bu yaklaşım ne dünya bilgisi ne de serbest metin üretimi gerektiriyor; bu yüzden normal sohbetin milyarlarca parametre istediği yerde 45 milyon parametre yeterli oluyor. Hedef cihazlar akıllı ev, robotlar, telefonlar, giyilebilir cihazlar, AR gözlükleri ve otomobiller: GPU'su ve NPU'su olmayan, birkaç düzine megabayt RAM'e sahip donanımlar.

Sonuçlar

Araç çağırma ve mobil cihaz kullanımı kıyaslamalarında Needle 2, şirkete göre 5 ila 70 kat daha küçük olmasına ve 16 bit yerine 2 bitte çalışmasına rağmen FunctionGemma 270M, LFM2.5 230M ve Apple FM gibi modellerle dönüşümlü olarak kazanıyor. Karşılaştırma Google'ın Mobile-Actions değerlendirme bölümünü (961 satır) kullanıyor ve Needle 2 yayımlanan ikili dosya üzerinden uçtan uca ölçülüyor.

Hız verileri: Raspberry Pi 5'te saniyede yaklaşık 500 token çözümleme (saniyede 800'den fazla token ön dolgu); Meta Quest 3S ve Apple Vision Pro gibi VR gözlüklerinde saniyede 400–1.500 token; Samsung A serisi gibi 200 doların altındaki telefonlarda saniyede 300–700 token. Oturum başına en yüksek bellek yaklaşık 28 MB olduğu için model ESP32-S3 gibi yeni mikrodenetleyicilerde de çalışıyor.

Neden ucuz donanım

Cactus'un bahsi ucuz donanım üzerine: şirket dünyada yaklaşık 1,5 milyar kişisel bilgisayara karşılık 21 milyardan fazla IoT cihazı bulunduğunu, gelişmekte olan pazarlardaki telefonların çoğunun 200 doların altında satıldığını ve uç cihazların kabaca beşte dördünün 200 dolardan ucuza mal olduğunu belirtiyor. Needle 2 açık bir sürüm; duyuruda akıllı ev komutları, çok adımlı robot hareketleri, form doldurma ve belgelerden veri çıkarma gibi örnek akışlar gösteriliyor.