قد يكون الفهرس المتجهي في هاتفك أكبر من نموذج AI الذي يعمل عليه

تزايد حجم الفهارس المتجهية على الأجهزة

مع دمج نماذج AI بشكل مباشر في الأجهزة المحمولة أكثر فأكثر، ظهر اتجاه غير متوقع: الفهرس المتجهي الذي يمكّن البحث على الهاتف قد يكون أكبر من نموذج AI نفسه. تشير هذه الملاحظة، التي نُشرت مؤخرًا في مقال Amanda Caswell على The New Stack، إلى كيفية وجوب تغيير المهندسين لنهجهم تجاه ميزانية الذاكرة والتخزين لأعباء AI على الأجهزة.

الفهارس المتجهية هي هياكل بيانات تخزّن التضمينات، أي التمثيلات الرقمية للنصوص أو الصور أو بيانات أخرى. وهي تتيح البحث السريع عن التشابه، وهو عملية أساسية في عمليات التوليد المعزز بالاسترجاع (RAG). وعندما تُخزَّن هذه الفهارس محليًا على الجهاز لدعم وظائف AI دون اتصال أو ذات زمن استجابة منخفض، قد يتجاوز حجمها بسرعة حجم النماذج اللغوية المدمجة التي تعمل بجانبها.

التأثير على بنية AI المتنقلة

تشكك هذه النتيجة في الافتراض الشائع بأن النموذج هو المستهلك الرئيسي للموارد في أنظمة AI على الأجهزة. فالمهندسون الذين يحسّنون الأداء للنشر على الأجهزة المحمولة يركزون تقليديًا على تقليص أوزان النموذج بتقنيات مثل التكميم والتقليم. لكن إذا استهلك الفهرس المتجهي مساحة أكبر من النموذج، فقد لا يُنظر إلى هذا الجهد التحسيني إلا كحاجز أكبر.

ولهذا نتائج عملية على كيفية دمج التطبيقات المتنقلة لقدرات AI. يجب على مطوري التطبيقات مراعاة الحجم الإجمالي للنموذج وفهرسه الداعم معًا عند اتخاذ قرار ما يُخزَّن على الجهاز وما يُنقَل إلى السحابة. كما يؤثر ذلك في استراتيجيات التحديث، لأن بيانات الفهرس قد تتطلب التحديث أو إعادة الهيكلة مع نمو المحتوى.

اتجاه أوسع في الذكاء الاصطناعي الطرفي

تندرج هذه الملاحظة في نقاش أوسع حول الذكاء الاصطناعي الطرفي والمقايضات المواردية المرتبطة بتشغيل الوظائف الذكية خارج مراكز البيانات. وكلما انتقلت معالجة AI أكثر إلى الهواتف وأجهزة IoT وتقنيات طرفية أخرى، أصبحت البنية التحتية الداعمة حول النماذج، بما في ذلك الفهارس والذواكر المؤقتة ومخازن البيانات الوصفية، مصدر قلق من الدرجة الأولى لمصممي الأنظمة.

تواصل The New Stack تسليط الضوء على المشهد المتطور للذكاء الاصطناعي على الأجهزة والطرفي، بما في ذلك مواضيع ذات صلة مثل كفاءة WebAssembly على الطرفية، وتوزيعات Kubernetes الخفيفة لعمليات النشر الطرفية، وتداعيات الأمان عند تشغيل وكلاء AI في بيئات موزعة.

المصادر: Thenewstack