LLM-lər əslində necə işləyir: transformer yığını boyunca səyahət

1 iyunda 0xkato bloqu «How LLMs Actually Work» yazısını dərc etdi: böyük dil modelinin içində baş verənlərə bir baxış. Çıxış nöqtəsi budur: müasir LLM-lər əsasən üst-üstə yığılmış transformer bloklarından qurulur, ona görə bu mexanizmi anlamaq yolun böyük hissəsini örtür

Mətndən ədədlərə

Modellər mətni deyil, tam ədəd identifikatorlarını oxuyur. Tokenləşdirmə sorğunu tam ədədlər ardıcıllığına çevirir; hər ədəd on minlərlə ilə bir neçə yüz min arası girişi olan sabit lüğətdəki bir qeydə işarə edir və bu vahidlər adətən tam sözlər deyil, alt hissələrdir. Sonra hər tam ədəd mənasını embedding matrisindən alır — lüğətdəki hər giriş üçün bir sətri olan axtarış cədvəli; 7B sinifli bir çox modeldə bir token 4,096 ədədə çevrilir və oxşar tokenlər oxşar vektorlar alır. Embeddingin özü mövqe barədə heç nə demir, ona görə modellər mövqe məlumatı əlavə edir: 2017-ci ilin orijinal transformer məqaləsində sinus və kosinus naxışları, müasir modellərin çoxunda RoPE kimi fırlanma sxemləri.

Diqqət və irəliyə ötürmə şəbəkəsi

Diqqət tokenlərin məlumat paylaşdığı mexanizmdir: hər token query, key və value yaradır; sorğular açarlarla ölçeklənmiş skalyar hasili ilə uyğunlaşdırılır, softmax balları cəmi bir olan çəkilərə çevirir və dəyərlər bu çəkilərlə ortaqlanır. GPT tipli modellər soldan sağa generasiya etdiyi üçün səbəb maskası bir mövqenin hələ yaradılmamış tokenlərə baxmasının qarşısını alır. Çoxbaşlı diqqət bu əməliyyatların çoxunu eyni vaxtda icra edir və başlar onlara deyilmədən ixtisaslaşır — tədqiqatçılar qrammatikanı izləyən və ya əvəzlikləri həll edən başlar tapıblar. Bir qatda 32 baş ola bilər; müasir modellər yaddaşa təzyiqi azaltmaq üçün əsasən baş qruplarının açar və dəyərləri paylaşdığı Grouped-Query Attention istifadə edir. Diqqətdən sonra hər token onu təkbaşına emal edən irəliyə ötürmə şəbəkəsindən keçir; sıx transformerdə parametrlərin çoxu məhz orada yerləşir və bəzi qabaqcıl modellər bu bloku Mixture of Experts ilə əvəz edir — məsələn, Mixtral 8x7B-də hər qatda səkkiz ekspert var, amma hər token üçün yalnız ikisi işləyir.

Proqnoz dövrü və əsl fərqlər

Generasiya son tokenin yekun vektorunu götürür, lüğətdəki hər giriş üçün bir bala — logitə — çevirir və softmax ilə onları ehtimallara çevirir. Temperatur, top-k və top-p çıxışın nə qədər determinist olacağını tənzimləyir; seçilən hər token girişə əlavə olunur və dövr yenidən işləyir, adətən bütün prefiksi yenidən hesablamaq əvəzinə KV keşi təkrar istifadə edilir. Baza model yalnız növbəti tokeni proqnozlaşdırmaq üçün öyrədilir; təlimatlara uyğunluq, üstünlüklər və təhlükəsizlik sonrakı təlimdən gəlir. GPT, Claude, Gemini və LLaMA arasındakı fərq ümumi dizayn deyil — yazıya görə onlar eyni transformer ailəsi məkanındadır — öyrədilmiş çəkilər, konfiqurasiya və sonrakı təlimdir. 2023-cü ildən yığın ortaq seçimlərdə birləşdi: pre-norm yerləşdirmə, RMSNorm, RoPE, SwiGLU, Grouped-Query Attention və Mixture of Experts.