LLM'ler gerçekte nasıl çalışır: transformer yığınında bir gezinti

1 Haziran'da 0xkato bloğu «How LLMs Actually Work» yazısını yayımladı: büyük bir dil modelinin içinde olup bitenlere dair bir gezinti. Yazının çıkış noktası şu: modern LLM'ler çoğunlukla üst üste yığılmış transformer bloklarından kurulur, dolayısıyla bu mekanizmayı anlamak yolun büyük kısmını kapatır

Metinden sayılara

Modeller metni değil, tam sayı kimliklerini okur. Tokenizasyon, istemi tam sayı dizisine çevirir; her sayı, on binlerce ile birkaç yüz bin arasında girdi barındıran sabit bir sözlükteki bir kayda işaret eder ve bu birimler genellikle tam sözcükler değil alt parçalardır. Ardından her tam sayı anlamını gömlem matrisinden alır — sözlükteki her girdi için bir satırı olan bir arama tablosu; 7B sınıfı birçok modelde bir token 4.096 sayıya dönüşür ve benzer tokenlar uzayda birbirine yakın vektörler alır. Gömlemin kendisi konum hakkında hiçbir şey söylemez, bu yüzden modeller konum bilgisi ekler: 2017'deki özgün transformer makalesinde sinüs ve kosinüs desenleri, modern modellerin çoğunda ise RoPE gibi döndürmeli şemalar.

Dikkat ve ileri beslemeli ağ

Dikkat, tokenların bilgi paylaştığı mekanizmadır: her token bir query, key ve value üretir; sorgular anahtarlarla ölçeklenmiş iç çarpımla eşleştirilir, softmax puanları toplamı bir olan ağırlıklara çevirir ve değerler bu ağırlıklarla ortalanır. GPT tarzı modeller soldan sağa ürettiği için nedensel maske, bir konumun henüz üretilmemiş tokenları görmesini engeller. Çok başlı dikkat bu işlemlerin çoğunu aynı anda yürütür ve başlar kendilerine söylenmeden uzmanlaşır — araştırmacılar dilbilgisini izleyen ya da adılları çözen başlar buldu. Tek bir katmanda 32 baş olabilir; modern modeller belleğe baskıyı azaltmak için çoğunlukla baş gruplarının anahtar ve değerleri paylaştığı Grouped-Query Attention kullanır. Dikkatten sonra her token, kendisini tek başına işleyen ileri beslemeli ağdan geçer; yoğun bir transformerde parametrelerin çoğu burada bulunur ve bazı öncü modeller bu bloğu Mixture of Experts ile değiştirir — örneğin Mixtral 8x7B'de katman başına sekiz uzman vardır ama her token için yalnızca ikisi çalışır.

Tahmin döngüsü ve asıl farklar

Üretim, son tokenın nihai vektörünü alır, sözlükteki her girdi için bir puana — logit'e — çevirir ve softmax ile bunları olasılıklara dönüştürür. Sıcaklık, top-k ve top-p çıktının ne kadar belirlenimci olacağını denetler; seçilen her token girdiye eklenir ve döngü yeniden çalışır, genellikle tüm öneki baştan hesaplamak yerine KV önbelleği yeniden kullanılır. Temel model yalnızca sonraki tokenı tahmin etmek üzere eğitilir; talimat izleme, tercihler ve güvenlik sonradan eğitimle gelir. GPT, Claude, Gemini ve LLaMA arasındaki fark genel tasarım değil — yazıya göre hepsi aynı transformer ailesi uzayında durur — eğitilmiş ağırlıklar, yapılandırma ve sonradan eğitimdir. 2023'ten bu yana yığın ortak bir dizi tercihte birleşti: pre-norm yerleşimi, RMSNorm, RoPE, SwiGLU, Grouped-Query Attention ve Mixture of Experts.