Needle 2: نموذج وكيلي بحجم 14 ميغابايت للهواتف والأجهزة القابلة للارتداء والروبوتات

أصدرت شركة Cactus Compute نموذج Needle 2 المفتوح، وهو نموذج بـ45 مليون معامل لاستدعاء الأدوات والتحكم بالأجهزة واستخراج البيانات المهيكلة. يتّسع النموذج بأكمله في ملف ثنائي واحد بحجم 14 ميغابايت ويعمل بنحو 28 ميغابايت من الذاكرة؛ وتقول الشركة إنه مبني على شبكة Simple Attention Network ومضغوط إلى تكميم CQ2 ببتّين عبر Cactus Quants ومدمج في محرّك استدلال خاص به.

لماذا صُمّم

بدلًا من المحادثة المفتوحة، يركّز Needle 2 على مهمّتين: مطابقة جملة المستخدم بالدوال التي يعرضها التطبيق — أي دالة تُستدعى وبأي وسائط — وتحويل النص غير المهيكل إلى حقول محدّدة الأنواع. وحجّة الشركة أن هذا الطرح لا يحتاج إلى معرفة بالعالم ولا إلى توليد نص حر، ولذلك تكفي 45 مليون معامل حيث تحتاج المحادثة العادية إلى مليارات. وتشمل الأجهزة المستهدفة المنازل الذكية والروبوتات والهواتف والأجهزة القابلة للارتداء ونظارات الواقع المعزّز والسيارات: عتاد بلا GPU أو NPU وبذاكرة من عشرات الميغابايتات فقط.

النتائج

في اختبارات استدعاء الأدوات واستخدام الأجهزة المحمولة، تقول الشركة إن Needle 2 يتبادل الانتصارات مع نماذج أكبر بكثير مثل FunctionGemma 270M وLFM2.5 230M وApple FM، رغم أنه أصغر منها بخمس إلى سبعين مرة ويعمل ببتّين مقابل 16 بت. وتعتمد المقارنة على قسم التقييم Mobile-Actions من غوغل (961 سطرًا)، وقيس Needle 2 من البداية إلى النهاية عبر الملف الثنائي الصادر.

أما أرقام السرعة: نحو 500 رمز في الثانية عند فك الترميز على Raspberry Pi 5 (وأكثر من 800 رمز في الثانية في مرحلة التمهيد)، و400 إلى 1500 رمز في الثانية على نظارات الواقع الافتراضي مثل Meta Quest 3S وApple Vision Pro، و300 إلى 700 رمز في الثانية على هواتف بأقل من 200 دولار مثل سلسلة A من سامسونغ. وبما أن ذروة ذاكرة الجلسة نحو 28 ميغابايت، يعمل النموذج أيضًا على متحكمات دقيقة حديثة مثل ESP32-S3.

لماذا العتاد الرخيص

رهان Cactus على الأجهزة الرخيصة: تشير الشركة إلى وجود أكثر من 21 مليار جهاز إنترنت أشياء مقابل نحو 1.5 مليار حاسوب شخصي، وأن معظم الهواتف في الأسواق الناشئة تُباع بأقل من 200 دولار، وأن نحو أربعة من كل خمسة أجهزة طرفية تكلف أقل من 200 دولار. وNeedle 2 إصدار مفتوح، ويعرض الإعلان أمثلة عملية: أوامر المنزل الذكي، وتسلسلات حركة الروبوت متعددة الخطوات، وتعبئة النماذج، واستخراج البيانات من المستندات.