MicroLLM Lab: سبعة نماذج لغوية صغيرة تعمل داخل المتصفح

مختبر يعمل داخل المتصفح

MicroLLM Lab، المنشور على stateofutopia.com/experiments/microllmlab، تجربة متصفح لتشغيل النماذج اللغوية الصغيرة (SLM) واختبارها ومقارنتها مباشرة على عتاد المستخدم. الصيغة موجزة: WebGPU، بلا خادم، تكميم Q4. لا يُرسل الحساب إلى أي مكان، ولا حاجة إلى تسجيل، ولا يخرج أي طلب من الجهاز. المشروع منفذ WebGPU وحزام Q4 وهيكل متعدد النماذج، استلهم بحث PetitGPT من yangqi0.

ترى الصفحة أن خدمة نماذج مثل GPT-4 أو Claude تكلّف الملايين وتضيف زمن استجابة شبكياً، بينما تعمل النماذج المدمجة من 25 إلى 360 مليون معامل كطبقة طرفية سريعة: تصنّف الطلبات وتستخرج النية في أجزاء من الثانية. ولأن الحساب يجري على GPU العميل فلا فاتورة API للتزامن، وزمن أول رمز يقل عن 10 أجزاء من الألف من الثانية.

سبعة نماذج، جميعها بترميز Q4

يضم الكتالوج سبع نقاط حفظ. PetitGPT research-v1 (124.6 مليون معامل، Apache-2.0، من yangqi0) هو النموذج المرجعي، دُرّب على بطاقة RTX 4090 واحدة بنحو 13 مليار رمز. يعود SmolLM2 135M Instruct وSmolLM2 360M Instruct إلى Smol Models Research في Hugging Face، وقد دُرّبا أولاً على نحو تريليوني رمز ثم ضُبطا بالتعليمات. يستخدم L20-Edu 135M (AliceYin) الوصفة نفسها بأسلوب Llama، لكنه دُرّب على بطاقة NVIDIA L20 واحدة بنحو 13 مليار رمز. وتكتمل المجموعة بنموذجَي MiniMind من jingyaogong (104M و26M) وGPT-2 124M بشكل nanoGPT.

كل الملفات مكمَّمة بترميز Q4: تُضغط الأوزان من أعداد الفاصلة العائمة 16 بت إلى 4 بتات لكل معامل، ما يقلل الذاكرة نحو 75%. على الجهاز تتراوح الأوزان من نحو 16 ميغابايت لنموذج 26M MiniMind2-Small إلى نحو 226 ميغابايت لنموذج 360M SmolLM2، والنماذج فوق 100 مليون معامل تتسع لنحو 50-84 ميغابايت من ذاكرة المتصفح. يؤدي المهمة WebGPU، معيار W3C الذي ينفّذ compute shader على Apple Metal أو DirectX 12 أو Vulkan، ثم ينتقل عند الحاجة إلى WASM فJavaScript. ويحفظ التحميل الملف في IndexedDB الخاصة بالمتصفح.

الاختبارات والشهادات

يشغّل وضع الاختبار تحققات موضوعية: تعبيرات نمطية واختبارات رموز دقيقة، لا درجات لجودة الكتابة. وتذكر الصفحة أن نموذجاً بـ135 مليون معامل مسموح له بالفشل، لأن هذا هو القياس نفسه. ويمكن تشغيل المجموعة على النموذج النشط أو على كل النماذج المحمّلة، وكذلك بدء اختبار سرعة ممتد بـ256 رمزاً.

يحوّل تبويب Compare & Certificate هذه الأرقام إلى شهادة PNG قابلة للمشاركة تضم تفاصيل عتاد الجهاز. ويتيح لوح Custom eval كتابة اختبار خاص بـJavaScript: يُنفَّذ الكود عبر eval داخل أصل الصفحة، ويجري كل تحقق على النص المفكوك للنموذج. ويعرض لوح Runtime الواجهة الخلفية، والرموز في الثانية، وJS heap، ومخازن GPU، واستخدام IndexedDB. ويمكن تنزيل المشروع كملف zip بحجم 589 ميغابايت، لكن يجب تقديمه عبر HTTP.