Bonsai 27B — 27 მილიარდიანი AI მოდელი, რომელიც პირდაპირ ტელეფონზე მუშაობს

ინტელექტის სიმჭიდროვის გარღვევა

PrismML-მა Bonsai 27B წარადგინა — 27 მილიარდი პარამეტრის მქონე AI მოდელი, რომელსაც პირდაპირ ტელეფონზე გაშვება შეუძლია. ეს მოდელი იყენებს ternary წონებს FP16 ჯგუფური მასშტაბირებით, რაც საშუალებას აძლევს შეინარჩუნოს მაღალი ხარისხის რეზიონირების უნარი, მხოლოდ 5.9 GB-ის დაკავებისას.

1-ბიტიანი ვერსია (~3.5 GB) პირდაპირ iPhone 17 Pro Max-ზე მუშაობს. ეს ნიშნავს, რომ მრავალსაფეხურიანი რეზიონირების, ინსტრუმენტების გამოძახებისა და აგენტური შესაძლებლობების მქონე მოდელს შეუძლია იმ მოწყობილობებზე მუშაობა, რომლებსაც ადამიანები უკვე ფლობენ.

როგორ მუშაობს ეს?

Bonsai 27B იყენებს ინოვაციურ მიდგომას — ternary წონებს (−1, 0, +1), რაც 1.71 ეფექტურ ბიტს ნიშნავს თითო პარამეტრზე. ჩვეულებრივ, 27B მოდელი 16-ბიტიანი სიზუსტით 54 GB-ს იკავებს. 4-ბიტიანი ვერსიაც კი 18 GB-ია — მაინც ძალიან დიდი ტელეფონისთვის. Bonsai 27B-მა ეს 5.9 GB-მდე დაიყვანა.

შესრულების ანალიზი

Bonsai 27B 80.5%-ს აღწევს 15 ბენჩმარკზე, 85%-იან სრული სიზუსტის Qwen 3.6 27B-სთან შედარებით. მათემატიკა და კოდირება თითქმის ხელშეუხებელია — მათემატიკა 93.4% 95.3%-ის წინააღმდეგ, კოდირება 86.0% 88.7%-ის წინააღმდეგ. ინსტრუმენტების გამოძახება 74.0%-ია 80.0%-ის წინააღმდეგ.

ეს შედეგები განსაკუთრებულია, რადგან მოდელი 10-ჯერ ნაკლებ მეხსიერებას მოიხმარს, ვიდრე სრული სიზუსტის ანალოგი, 95% ინტელექტის შენარჩუნებისას.

ინტელექტის სიმჭიდროვე

PrismML-ის მიერ შემოღებული „ინტელექტის სიმჭიდროვე" — ინტელექტის გაზომვა გიგაბაიტზე — Bonsai 27B-სთვის 0.53-ია, რაც 10-ჯერ მეტია სრული სიზუსტის მოდელთან შედარებით და დაახლოებით 2.7-ჯერ მეტი საუკეთესო ხელმისაწვდომ დაბალი ინტენსივობის მოდელზე.

რატომ არის ეს მნიშვნელოვანი

AI-ს ყველაზე ღირებული დატვირთვები ერთჯერადი პასუხებიდან გადადის მუდმივ მუშაობაზე — ასისტენტები, რომლებიც რეალურ ინსტრუმენტებს მართავენ. როდესაც მოდელი მოწყობილობაზე ჯდება, 100-ნაბიჯიანი ციკლის ღირებულება ნულია.

Bonsai 27B იძლევა ჰიბრიდული განლაგების შესაძლებლობას: ლოკალური მოდელი ყოველდღიური ამოცანებისთვის, ღრუბელზე დაფუძნებული — ყველაზე რთული სამუშაოსთვის. ეს მკვეთრად ამცირებს AI სისტემების ღირებულებას.

რას ნიშნავს ეს ქართველი დეველოპერებისთვის

Bonsai 27B განსაკუთრებით მნიშვნელოვანია ქართველი დეველოპერებისა და ბიზნესებისთვის, რადგან ის AI-ს ხელმისაწვდომს ხდის. აღარ გჭირდებათ ძვირადღირებული ღრუბლოვანი GPU — მოდელი, რომელიც ტელეფონზე ან ლეპტოპზე ჯდება, საშუალებას აძლევს ქართულ სტარტაპებს, ააშენონ AI-ზე დაფუძნებული პროდუქტები მინიმალური ინვესტიციით.

ასევე, ლოკალური AI წყვეტს კონფიდენციალურობის პრობლემას — მგრძნობიარე მონაცემები არასდროს ტოვებს მოწყობილობას, რაც განსაკუთრებით მნიშვნელოვანია ქართული ბიზნესებისთვის, რომლებიც პერსონალურ მონაცემებს ამუშავებენ.

მობილური AI-ს მომავალი

Bonsai 27B წარმოადგენს პარადიგმის ცვლილებას. AI მოდელები, რომლებიც ადრე მხოლოდ ძვირადღირებული ღრუბლოვანი API-ებით იყო ხელმისაწვდომი, ახლა ლოკალურად მუშაობენ. ეს ხსნის კარებს მუდმივი ლოკალური აგენტების, ოფლაინ-ასისტენტებისა და კონფიდენციალურობის დამცავი AI აპლიკაციებისკენ.

📖 წყარო