Yazılım neden hâlâ yavaş? Dan Luu: artık bunun bir mazereti yok

Yıllarca yavaş yazılım, uzmanlık ekonomisiyle açıklandı: bir programı hızlandırmak için nadir yeteneklere sahip mühendisler gerekiyordu ve projelerin çoğu bu işi yapmadan piyasaya çıkıyordu. Mühendis Dan Luu yeni bir yazısında bu denklemin bozulduğunu savunuyor: kodlama ajanları optimizasyonun maliyetini kat kat düşürdü.

Argüman

Yazı, LLM'lerin ürettiği "şişkin" kodu eleştirenlerin, her şey "süper optimize edilmiş assembly" ile yeniden yazıldığında utanacağını öne süren viral bir iddiayla başlıyor. Luu bu kadar ileri gitmiyor: her şeyi elle assembly yazmaya dönmüyoruz, ancak eskiden bir kişi ya da nadir becerilere sahip bir ekip gerektiren optimizasyonları artık birkaç cümle yazabilen herkes yapabiliyor. Ona göre insan emeği maliyeti "çoğu zaman 1000, 10.000 hatta 1.000.000 kat" azaldı; dolar cinsinden maliyet ise bir zamanlar Bing'in arama dizininin derleyicilerini ve JIT'lerini yazan mühendisle karşılaştırıldığında yaklaşık 1000 kat düştü.

Somut sayılar: regex ve ripgrep

Yazı bunu FRE adlı regex motoru üzerinde yapılan deneylerle destekliyor. FRE, bir ajanın rebar kıyaslama seti üzerinde bir ay boyunca döngüde çalıştırılmasıyla üretilmişti; aşırı uyum o kadar güçlüydü ki optimizasyonların genelleşmesi için ajana bir holdout seti olduğu söylenmesi gerekti. Bir deneyde ripgrep, desenleri arka plandaki bir iş parçacığında yerel koda derleyip derleme bitince bu yola geçti: birkaç uzun ve basit sorguda 2-4 kat hızlanma, yerel yolun geçerli olduğu temsili holdout sorgularında ise yaklaşık %7 kazanç — kısa sorguların yavaşlaması pahasına.

Tek bir iş yüküne göre yazılım

Marc Brooker bu eğilimi FFTW'ye ve demoscene tekniklerine benzetti: bir problem sınıfına değil, tek bir probleme göre şekillenmiş kod. Ona göre "dinamik, iş yüküne özel yazılım" yaygınlaşacak. pgrust üzerinde çalışan Michael Malis ise "kod yazmak hiçbir zaman zor kısım değildi" sözünün yalnızca bazı alanlarda geçerli olduğunu belirtiyor: JIT derleyicileri nadirdir çünkü yazılmaları eskiden kârlı olmayacak kadar pahalıydı; veritabanları da tarihsel olarak kurulması en zor yazılımlardı. Luu, SIGIR'de en iyi makale ödülünü kazanan Bing arama dizini BitFunnel üzerinde çalışmıştı; Bing sürümünde birden fazla JIT derleyici var — artık "bunu bir hafta sonu hallederim" denebilecek bir ölçek.

Değişmeyen ne

Luu sınırları da vurguluyor: sonucu değiştiren optimizasyonlar için değişimin değip değmeyeceğini ölçecek bir düzenek gerekir ve günümüzün en iyi modelleri deney tasarımında zayıf — değerlendirme çerçevesini hâlâ insan kurmalı. Aşırı uyum riski de sürüyor: belirli bir iş yüküne göre ayarlanmış optimizasyon, iş yükü değişince bozulur. Yalnızca "optimize et" denen bir ajan ise yanlış işler yapar ve bunların yakalanması gerekir. Yine de Luu'nun sonucu şu: makul performans artık uzmanlık gerektiren bir beceri değil, kodlama ajanlarını ciddi biçimde kullanan herkes için makul bir beklenti.