مقرر CS336 من ستانفورد: بناء نموذج لغوي من الصفر

نشرت جامعة ستانفورد مواد مقرر CS336، وهو مقرر ربيع 2026 بعنوان «Language Modeling from Scratch» يأخذ الطلاب عبر العملية الكاملة لبناء نموذج لغوي بدلاً من استخدام نموذج جاهز. يدرّس المقرر بيرسي ليانغ وتاتسو هاشيموتو، وتُعقد المحاضرات يومي الاثنين والأربعاء من الثالثة إلى الرابعة والنصف عصراً في قاعة Skilling، مع نشر التسجيلات في قائمة تشغيل عامة على يوتيوب.

ما يغطيه المقرر

يستلهم المقرر فكرته من مقررات أنظمة التشغيل التي يبني فيها الطلاب نظاماً كاملاً من الصفر. هنا تمتد العملية من جمع البيانات وتنظيفها للتدريب المسبق، إلى بناء المحوّل، وتدريب النموذج، وتقييمه قبل النشر. ويقول المدرّسان إن الهدف هو فهم عميق لنماذج اللغة في وقت يُتوقع فيه من نظام عام واحد أن يتعامل مع طائفة واسعة من المهام.

المتطلبات المسبقة وحجم العمل

مقرر CS336 من خمس وحدات دراسية ويُركز على التطبيق العملي مع حد أدنى متعمّد من الكود الجاهز: يُخبَر الطلاب بأنهم سيكتبون كوداً أكثر بعشرة أضعاف على الأقل مقارنة بمقررات الذكاء الاصطناعي الأخرى. تشمل المتطلبات المسبقة إتقان بايثون وهندسة البرمجيات، وخبرة في التعلّم العميق وتحسين الأنظمة (PyTorch، التسلسل الهرمي للذاكرة)، وحساب التفاضل والتكامل والجبر الخطي بمستوى جامعي، وأساسيات الاحتمالات والإحصاء، ومقرراً تمهيدياً في تعلّم الآلة. ويُخصص جزء كبير من العمل لجعل نماذج اللغة العصبية تعمل بسرعة وكفاءة على وحدات GPU في عدة أجهزة.

خمس مهام ونموذج واحد

تغطي المهمة الأولى الأساسيات: المُرمِّز، ومعمارية النموذج، والمُحسِّن، ثم تدريب نموذج لغوي بسيط. وتنتقل المهمة الثانية إلى الأنظمة: القياس والتحليل الأدائي، وكتابة تطبيق خاص لـ FlashAttention2 بلغة Triton، وبناء كود تدريب موزّع يوفّر الذاكرة. وتتناول المهمة الثالثة التوسّع: وظيفة كل مكوّن في المحوّل، وملاءمة قانون التوسّع عبر واجهة تدريب برمجية. أما المهمة الرابعة فتحوّل ملفات Common Crawl الخام إلى بيانات تدريب مسبق قابلة للاستخدام بالتصفية وإزالة التكرار. وتطبّق المهمة الخامسة الضبط الدقيق الموجّه والتعلّم المعزّز ليصل النموذج إلى حل المسائل الرياضية بالاستدلال، مع جزء ثانٍ اختياري عن أساليب المواءمة الأمنية مثل DPO.

الحوسبة وميثاق الشرف والجدول الزمني

لمن يتابع من المنزل، يورد المقرر خيارات GPU سحابية لبطاقة B200 واحدة بأسعار علنية مسجّلة في 28 مارس/آذار 2026: Modal بـ6.25 دولار في الساعة مع 30 دولاراً من الحوسبة المجانية شهرياً، وRunPod بـ4.99، وNebius بـ5.50 (أو 3.05 في وضع preemptible)، وLambda Labs بـ6.69، وTogether بـ7.49 بحد أدنى ثماني بطاقات. ويسمح ميثاق الشرف بمجموعات الدراسة وباستخدام نماذج اللغة الكبيرة لأسئلة البرمجة منخفضة المستوى أو الأسئلة المفاهيمية، لكنه يحظر استخدامها لحل المهام، ويشجع على تعطيل الإكمال التلقائي بالذكاء الاصطناعي. ويمتد الجدول، الذي يضم 19 محاضرة، من 30 مارس/آذار إلى 3 يونيو/حزيران، وينتهي بمحاضرتين استضافيتين لدانييل سيلسام ودان فو.