كيف تعمل نماذج اللغة فعلياً: جولة داخل بنية المحوّل

في 1 يونيو نشرت مدونة 0xkato مقالة «How LLMs Actually Work»، وهي جولة في ما يحدث داخل نموذج لغة كبير. الفرضية أن النماذج الحديثة تُبنى في الأساس من تكديس كتل المحوّل واحدة فوق أخرى، لذا يكفي فهم هذا الميكانيزم لتغطية معظم الطريق

من النص إلى الأرقام

لا تقرأ النماذج النص بل معرّفات صحيحة. تحوّل الرمزنة الطلب إلى سلسلة أعداد صحيحة، كل منها يشير إلى مدخل في معجم ثابت يضم عشرات الآلاف إلى بضع مئات الآلاف من الوحدات، وهي عادة وحدات دون الكلمة لا كلمات كاملة. بعد ذلك يستمد كل عدد معناه من مصفوفة التضمينات — جدول بحث فيه صف لكل مدخل في المعجم؛ وفي كثير من النماذج من فئة 7B يتحول الرمز الواحد إلى 4,096 عدداً، وتنتهي الرموز المتشابهة إلى متجهات متقاربة. والتضمين نفسه لا يقول شيئاً عن الموقع، لذا تضيف النماذج معلومات موقعية: أنماط الجيب وجيب التمام في ورقة المحوّل الأصلية عام 2017، وأنظمة دورانية مثل RoPE في معظم النماذج الحديثة.

الانتباه وشبكة التغذية الأمامية

الانتباه هو آلية تبادل المعلومات بين الرموز: ينتج كل رمز استعلاماً ومفتاحاً وقيمة، وتُطابق الاستعلامات مع المفاتيح عبر جداء سلمي مُقيس، ويحوّل softmax النقاط إلى أوزان مجموعها واحد، ثم تُؤخذ القيم بمتوسط موزون بها. ولأن نماذج بنمط GPT تولّد من اليسار إلى اليمين، تمنع القناع السببي أي موضع من النظر إلى رموز لم تُولّد بعد. يشغّل الانتباه متعدد الرؤوس عمليات كثيرة كهذه في الوقت نفسه، وتتخصص الرؤوس من دون أن يُطلب منها ذلك — وجد الباحثون رؤوساً تتابع القواعد أو تحل الضمائر. قد تضم الطبقة الواحدة 32 رأساً، وتستخدم النماذج الحديثة غالباً Grouped-Query Attention حيث تتشارك مجموعات من الرؤوس المفاتيح والقيم لتخفيف ضغط الذاكرة. وبعد الانتباه يمر كل رمز عبر شبكة تغذية أمامية تعالجه وحده؛ وفي المحوّل الكثيف تتركز معظم المعاملات هناك، وتستبدل بعض النماذج المتقدمة هذه الكتلة بـ Mixture of Experts — ففي Mixtral 8x7B ثمانية خبراء في كل طبقة، لكن اثنين فقط يعملان لكل رمز.

حلقة التوقّع وما يختلف فعلاً

تأخذ التوليدات المتجه النهائي للرمز الأخير، وتحوّله إلى درجة واحدة لكل مدخل في المعجم — لوغيت — ثم إلى احتماليات عبر softmax. تتحكم الحرارة وtop-k وtop-p في مدى حتمية المخرجات، ويُضاف كل رمز مختار إلى المدخل لتعاد الحلقة، عادةً بإعادة استخدام ذاكرة KV بدل إعادة حساب البادئة كاملة. النموذج الأساسي يتدرب على توقّع الرمز التالي فقط؛ أما اتباع التعليمات والتفضيلات والسلامة فتأتي من التدريب اللاحق. والفرق بين GPT وClaude وGemini وLLaMA ليس التصميم العام — إذ ترى المقالة أنها جميعاً في الفضاء نفسه لعائلة المحوّل — بل الأوزان المدرَّبة والإعدادات والتدريب اللاحق. ومنذ 2023 استقرّت البنية على خيارات مشتركة: موضع pre-norm، وRMSNorm، وRoPE، وSwiGLU، وGrouped-Query Attention، وMixture of Experts.