Telefonunuzun vektor indeksi cihazda işləyən AI modelindən daha böyük ola bilər

Cihazdakı vektor indekslərin artan həcmi

AI modelləri getdikcə daha çox birbaşa mobil cihazlarda yerləşdiriləndə, gözlənilməz bir tendensiya ortaya çıxdı: telefonlarda axtarışı təmin edən vektor indeksi öz AI modelindən daha böyük ola bilər. Bu müşahidə, Amanda Caswell-in The New Stack-də yayımlanan son məqaləsində, mühəndislərin cihazda AI yükləmələri üçün yaddaş və saxlama büdcəsinə yanaşmasını necə dəyişməli olduğunu göstərir.

Vektor indekslər məlumat strukturlarıdır; onlarda mətnin, şəkillərin və ya digər məlumatların ədədi təsvirləri olan embeddinglər saxlanılır. Onlar oxşarlığın sürətli axtarışını təmin edir ki, bu da retrieval-augmented generation (RAG) proseslərinin əsas əməliyyatıdır. Bu indekslər cihazda oflayn və ya aşağı gecikməli AI funksiyalarını dəstəkləmək üçün yerli saxlanıldıqda, ölçüləri yanında işləyən kompakt dil modellərinin ölçüsünə tez çata bilər.

Mobil AI arxitekturasına təsir

Bu kəşf, cihazda AI sistemində resursların əsas istehlakçısının model olduğu geniş yayılmış fikri şübhə altına alır. Mobil yerləşdirmələri optimizasiya edən mühəndisler ənənəvi olaraq modelin çəkisini kiçiltmək üçün kvantlaşdırma və pruning kimi texnikalara diqqət yetirirlər. Lakin vektor indeksi modeldən daha çox yer tutursa, bu optimizasiya cəhdi daha böyük bir maneə kimi görünə bilər.

Bunun mobil tətbiqlərin AI imkanlarını necə birləşdirdiyi praktik nəticələri var. Tətbiq yaradıcıları cihazda nə saxlanacağını və nə bulutda ötürüləcəyini qərara verərkən həm modelin, həm də onun dəstək indeksinin ümumi həcmini nəzərə almalıdır. Bu həm də yeniləmə strategiyalarına təsir edir, çünki məzmun artdıqca indeks məlumatlarının yenilənməsi və ya yenidən qurulması zəruri ola bilər.

Edge AI-da daha geniş tendensiya

Bu müşahidə edge AI və intellektual funksiyaların məlumat mərkəzləri xaricində yerləşdirilməsi ilə bağlı resurs kompromisslərinin daha geniş mövzusuna uyğundur. AI emalı getdikcə daha çox telefonlara, IoT cihazlarına və digər edge texnikalarına köçdükcə, modellərin ətrafındakı dəstək infrastruktur — indekslər, keşlər və metadata anbarları — sistem dizaynerləri üçün birinci dərəcəli narahatlıq halına gəlir.

The New Stack cihazda və edge AI-nın inkişaf edən landşaftına dair araşdırmaları davam etdirir; buna edge üzərində WebAssembly-nın səmərəliliyi, edge yerləşdirmələri üçün yüngül Kubernetes paylanması və AI agentlərinin paylanmış mühitdə işə salınmasının təhlükəsizlik nəticələri kimi əlaqəli mövzular daxildir.

Mənbələr: Thenewstack