Needle 2: агентна LLM на 14 МБ для телефонів, носимих пристроїв і роботів

Cactus Compute випустила Needle 2 — відкриту модель на 45 мільйонів параметрів для виклику інструментів, керування пристроями та структурованого вилучення даних. Уся модель вміщується в один бінарний файл обсягом 14 МБ і працює в приблизно 28 МБ оперативної пам'яті; за словами компанії, вона побудована на Simple Attention Network, стиснута до 2-бітної квантизації CQ2 за допомогою Cactus Quants і вбудована у власний інференс-рушій.

Для чого вона

Замість відкритого діалогу Needle 2 розв'язує дві задачі: зіставляє речення користувача з функціями, які надає застосунок — яку функцію викликати та з якими аргументами — і перетворює неструктурований текст у типізовані поля. Аргумент компанії: така постановка не потребує ні знань про світ, ні генерації тексту, тому 45 мільйонів параметрів достатньо там, де для звичайного чату потрібні мільярди. Цільові пристрої — розумний дім, роботи, телефони, носимі пристрої, AR-окуляри й автомобілі: обладнання без GPU та NPU, з кількома десятками мегабайтів RAM.

Результати

На бенчмарках виклику інструментів і використання мобільних пристроїв Needle 2, за даними компанії, поперемінно перемагає значно більші моделі — FunctionGemma 270M, LFM2.5 230M і Apple FM — попри те, що вона у 5–70 разів менша і працює на 2 бітах проти їхніх 16. Порівняння використовує зріз Mobile-Actions від Google (961 рядок), а Needle 2 вимірювали наскрізно через випущений бінарник.

Швидкість: близько 500 токенів за секунду на Raspberry Pi 5 (понад 800 токенів/с на префілі); 400–1500 токенів за секунду на VR-гарнітурах Meta Quest 3S та Apple Vision Pro; 300–700 токенів за секунду на телефонах дешевших за 200 доларів, як-от Samsung серії A. Пікова пам'ять сесії — близько 28 МБ, тож модель працює і на новіших мікроконтролерах, наприклад ESP32-S3.

Чому дешеве залізо

Ставка Cactus — на дешеві пристрої: компанія нагадує, що у світі понад 21 мільярд IoT-пристроїв проти приблизно 1,5 мільярда ПК, більшість телефонів на ринках, що розвиваються, коштують менш ніж 200 доларів, а чотири з п'яти периферійних пристроїв дешевші за 200 доларів. Needle 2 — відкритий випуск; в анонсі показано приклади сценаріїв: команди розумного дому, багатокрокові дії роботів, заповнення форм і вилучення даних із документів.