Needle 2: 14 მეგაბაიტიანი აგენტური მოდელი ტელეფონებისთვის, საათებისა და რობოტებისთვის

Cactus Compute-მა გამოუშვა Needle 2 — ღია მოდელი 45 მილიონი პარამეტრით, რომელიც ხელსაწყოების გამოძახებაზე, მოწყობილობის მართვასა და სტრუქტურირებულ ამოღებაზეა გათვლილი. მთელი მოდელი ერთ 14 მეგაბაიტიან ბინარში ეტევა და დაახლოებით 28 მეგაბაიტ RAM-ში მუშაობს; კომპანიის თქმით, ის აწყობილია Simple Attention Network-ზე, Cactus Quants-ით 2-ბიტიან CQ2 კვანტიზაციამდე შეკუმშული და საკუთარ ინფერენს-ძრავში ჩაშენებული.

რისთვისაა განკუთვნილი

ღია დიალოგის ნაცვლად Needle 2 ორ ამოცანაზე მუშაობს: მომხმარებლის წინადადების აპლიკაციის ფუნქციებზე მიბმაზე — რომელი ფუნქცია გამოიძახოს და რა არგუმენტებით — და უსტრუქტურო ტექსტის ტიპიზებულ ველებად გადაქცევაზე. კომპანიის მოსაზრებით, ამ ფორმულირებას არც მსოფლიო ცოდნა სჭირდება და არც თავისუფალი ტექსტის გენერაცია — ამიტომ 45 მილიონი პარამეტრი საკმარისია იქ, სადაც ჩვეულებრივ ჩატს მილიარდობით პარამეტრი სჭირდება. სამიზნე მოწყობილობებია ჭკვიანი სახლი, რობოტები, ტელეფონები, საათები, AR-სათვალეები და ავტომობილები — ჰარდვეარი GPU-სა და NPU-ს გარეშე, რამდენიმე ათეული მეგაბაიტი RAM-ით.

შედეგები ბენჩმარკებზე

ხელსაწყოების გამოძახებისა და მობილურ მოწყობილობებზე მუშაობის ბენჩმარკებზე, კომპანიის თქმით, Needle 2 მონაცვლეობით იმარჯვებს გაცილებით დიდ მოდელებთან — FunctionGemma 270M, LFM2.5 230M და Apple FM — მიუხედავად იმისა, რომ 5-დან 70-ჯერ უფრო მცირეა და 16-ბიტიანი სიზუსტის ნაცვლად 2 ბიტზე მუშაობს. შედარება Google-ის Mobile-Actions შეფასების ნაწილს ეყრდნობა (961 სტრიქონი), Needle 2 კი გამოშვებული ბინარის მეშვეობით, საწყისიდან ბოლომდე იზომება.

სიჩქარის მაჩვენებლები: დაახლოებით 500 ტოკენი წამში Raspberry Pi 5-ზე (prefill 800+ ტოკენი/წმ); 400–1500 ტოკენი წამში VR-სათვალეებზე, როგორიცაა Meta Quest 3S და Apple Vision Pro; 300–700 ტოკენი წამში 200 დოლარზე იაფ ტელეფონებზე, მაგალითად Samsung-ის A-სერიაზე. სესიის პიკური მეხსიერება 28 მეგაბაიტია, რაც საშუალებას იძლევა მოდელი ახალ მიკროკონტროლერებზეც, მაგალითად ESP32-S3-ზე, გაეშვას.

რატომ იაფი მოწყობილობები

Cactus-ის ფსონი იაფ ჰარდვეარზეა: კომპანია აღნიშნავს, რომ მსოფლიოში 21 მილიარდზე მეტი IoT-მოწყობილობაა დაახლოებით 1,5 მილიარდი კომპიუტერის წინააღმდეგ, განვითარებადი ბაზრების ტელეფონების უმეტესობა 200 დოლარზე იაფია, ხოლო კიდის მოწყობილობების დაახლოებით ხუთიდან ოთხი 200 დოლარზე იაფი ღირს. Needle 2 ღია გამოშვებაა, ანონსში კი ნაჩვენებია გამოყენების მაგალითები — ჭკვიანი სახლის ბრძანებები, რობოტის მრავალნაბიჯიანი მოქმედებები, ფორმების შევსება და ინფორმაციის ამოღება დოკუმენტებიდან.