PrismML, minik LLM'lerini Qualcomm destekli akıllı gözlüklere taşıyor

Caltech araştırmacılarının kurduğu ve UC Berkeley'den Ion Stoica'nın danışmanlık yaptığı AI laboratuvarı PrismML, minik dil modellerinin bir sürümünü Qualcomm'un Snapdragon yongalarıyla çalışan akıllı gözlükler için geliştirdi.

Qualcomm, Snapdragon Summit'te ne gösterdi

Qualcomm, çarşamba günü Snapdragon Summit'te PrismML'ın 1 bitlik Bonsai LLM modelini tanıttı. Model, Snapdragon AR1 Gen 1 Platformu üzerine kurulu AI akıllı gözlüklerde yerel olarak çalışabiliyor. Gözlük sürümü, görü ve dile göre uyarlanmış 2 milyar parametreli bir model; böylece kullanıcılar baktıkları şeyi gerçek zamanlı olarak sorabiliyor.

4 kat küçük, neredeyse aynı performans

TechCrunch'ın daha önce aktardığı gibi PrismML'ın esas iddiası sıkıştırma: şirket büyük modelleri ciddi ölçüde — bu örnekte 4 kat — küçültüyor ve standart testlerdeki performanslarının neredeyse tamamını koruyor.

Cihazda açık ağırlıklı AI

PrismML'ın daha büyük hedefi, cihazlarda çalışan ve mevcut hesaplama gücünü daha verimli kullanan açık ağırlıklı AI. Girişim bunu, kapalı AI laboratuvarlarının gizlilik vaatlerine ve bitmeyen hesaplama ihtiyacına bağımlı olmaya bir alternatif olarak sunuyor. Qualcomm'un yongası için model yayınlamak bu vizyona doğru bir adım; ancak PrismML çalıştıran bir akıllı gözlük henüz duyurulmadı.