PrismML переносить свої крихітні LLM на розумні окуляри з чипами Qualcomm

AI-лабораторія PrismML, яку заснували дослідники з Caltech, а консультує дослідник UC Berkeley Айон Стойка, створила версію своїх крихітних мовних моделей для розумних окулярів на чипах Qualcomm Snapdragon.

Що Qualcomm показала на Snapdragon Summit

У середу на Snapdragon Summit компанія Qualcomm продемонструвала 1-бітну модель PrismML Bonsai LLM, яка працює локально на розумних окулярах, побудованих на платформі Snapdragon AR1 Gen 1. Версія для окулярів — це модель на 2 мільярди параметрів, налаштована для зору та мови, тож власник може в режимі реального часу запитати про те, на що дивиться.

У 4 рази менше — майже без втрати якості

Як TechCrunch писав раніше, головна особливість PrismML — стиснення: компанія суттєво зменшує великі моделі, у цьому випадку — у 4 рази, майже повністю зберігаючи їхні результати на стандартних бенчмарках.

Відкриті ваги проти хмари

Більша мета PrismML — AI з відкритими вагами, який працює на пристроях і краще використовує наявну обчислювальну потужність. Стартап подає це як альтернативу залежності від обіцянок приватності закритих AI-лабораторій та їхньої постійної потреби в нових обчисленнях. Випуск моделі для чипа Qualcomm — крок до цієї мети, утім розумних окулярів із PrismML поки що не анонсували.