Bonsai 27B — 27-мільярдна модель ШІ, яка працює на телефоні

PrismML оголосила про Bonsai 27B — модель ШІ з 27 мільярдами параметрів, яка працює на телефоні та займає лише 5.9 ГБ.

Прорив у щільності інтелекту

PrismML оголосила про Bonsai 27B — модель штучного інтелекту з 27 мільярдами параметрів, яка може працювати безпосередньо на телефоні. Ця модель використовує тернарні ваги з груповим масштабуванням FP16, що дозволяє їй підтримувати високоякісне мислення, займаючи лише 5.9 ГБ пам'яті.

1-бітова версія (~3.5 ГБ) працює безпосередньо на iPhone 17 Pro Max. Це означає, що модель із багатоступеневим мисленням, викликом інструментів та агентними можливостями може працювати на пристроях, які люди вже мають.