PrismML kiçik LLM-lərini Qualcomm çipli ağıllı eynəklərə gətirir

Caltech tədqiqatçılarının yaratdığı və UC Berkeley-dən Ion Stoica-nın məsləhət verdiyi AI laboratoriyası PrismML, kiçik dil modellərinin bir versiyasını Qualcomm-un Snapdragon çipləri ilə işləyən ağıllı eynəklər üçün hazırlayıb.

Qualcomm Snapdragon Summit-də nə göstərdi

Çərşənbə günü Qualcomm Snapdragon Summit-də PrismML-ın 1-bitlik Bonsai LLM modelini təqdim etdi. Model Snapdragon AR1 Gen 1 platforması əsasında qurulan AI ağıllı eynəklərdə lokal olaraq işləyə bilir. Eynək versiyası görmə və dil üçün uyğunlaşdırılmış 2 milyard parametrli modeldir; beləliklə, istifadəçilər baxdıqları şeyi real vaxtda soruşa bilər.

4 dəfə kiçik, demək olar ki, eyni nəticələr

TechCrunch-ın əvvəlki məlumatına görə, PrismML-ın əsas üstünlüyü sıxmadır: şirkət böyük modelləri ciddi şəkildə — bu halda 4 dəfə — kiçildir və standart testlərdə nəticələrinin demək olar ki, hamısını saxlayır.

Cihazda açıq çəkili AI

PrismML-ın daha böyük məqsədi cihazlarda işləyən və mövcud hesablama gücündən daha yaxşı istifadə edən açıq çəkili AI-dır. Startap bunu qapalı AI laboratoriyalarının məxfilik vədlərindən və hesablama gücünə sonsuz ehtiyacından asılılığa alternativ kimi təqdim edir. Qualcomm-un çipi üçün model buraxmaq bu vizyona doğru bir addımdır; lakin PrismML işlədən ağıllı eynəklər hələ elan olunmayıb.