Navier-Stokes-dan sonra LLM-lərə niyə hələ də bədbin yanaşıram

Hipə qarşı tezis

15 sentyabrda dank.systems bloqunda dərc olunan yazı iddia edir ki, böyük dil modelləri (LLM) ətrafındakı həyəcan bu sistemlərin əslində bacardıqlarından qabağa düşüb. Müəllif yazır ki, qabaqcıl laboratoriyaların dəyərləndirilməsi “bilik işçilərinin çoxunun yerini tutacaq tam avtomatik əvəzləyici” yaradacaqları narrativinə əsaslanır, halbuki mövcud modellər “ən sadə tapşırıqlarda belə” əziyyətli nəzarətə və qoruyucu qaydalara ehtiyac duyur.

Navier-Stokes işi, FreeBSD-də uzaqdan kod icrası tapıntıları və Hugging Face hadisəsi kimi səs-küylü nümayişlərin mənalı muxtariyyətə işarə etmədiyini müdafiə edən müəllif sübut kimi bugünkü benchmark-larda onları nəzarət edən modellərdən aşağı bal alacaq mühəndisləri hələ də işə götürən proqram şirkətlərini göstərir.

Dar ümumiləşdirmə və spesifikasiya dəyəri

İkinci tezis ümumiləşdirməyə aiddir: modellər yalnız öyrədildikləri tapşırıqların kiçik bir qonşuluğunda yaxşı işləyir və orada da “əhatə olunan tapşırıq sinfi daxilində kiçik sapmalar tam uğursuzluq və ya mükafatın pozulması ilə nəticələnir”. Bunu düzəltmək üçün sahə mütəxəssislərinin yazdığı ciddi spesifikasiya lazımdır; mütəxəssis vaxtı bahadır — üstəlik spesifikasiya yazmaq özü ayrı bacarıqdır, ona görə müəllif sahəni bilənlərlə onu dəqiq təsvir edə bilənlərin kəsişməsinin çox kiçik olduğunu söyləyir.

Əmək xərci qeyri-rəsmi təsvirin birbaşa tətbiqindən baha ola bilər. Aparat mühəndisliyində tipik CPU layihəsində spesifikasiya və validasiya mühəndislərinin sayı dizayn mühəndislərindən təxminən üç dəfə çoxdur və 5:1 nisbəti də nadir deyil, deyə yazı qeyd edir.

Ən yaxşı hal riyaziyyat, ehtiyat plan insan yoxlaması

Riyazi nəticələr, müəllifin ifadəsi ilə, ciddi spesifikasiyaya qarşı işləmək üçün “mütləq ən yaxşı ssenari”dir: teorem ifadəsi artıq spesifikasiyadır, onilliklər boyu riyaziyyat icması tərəfindən yoxlanılıb və Lean-də formalizasiyası mathlib-dən yaxşı sınaqdan keçmiş obyektlərin tərcüməsidir. Buna baxmayaraq Lean də qüsursuz deyil; düzgünlük xətaları əvvəllər LLM-lərə saxta sübutları Lean nüvəsindən keçirməyə imkan verib.

Alternativ olan insan yoxlaması modellərin istehsal etdiyi həcmə uyğunlaşa bilmir və özü də manipulyasiyaya açıqdır; müəllif xz arxa qapısını və Linux nüvəsindəki “ikiüzlü commit-lər” hadisəsini misal çəkir. Əgər insan yoxlaması dövrdə qalırsa, istehsal tempi insan diqqəti ilə məhdudlaşır.

Hansı firmalar muxtar AI-dan istifadə edə bilər

Yazının nəticəsi belədir: əksər sahələrdə LLM-lər “qırılmış təcrübəçi”yə bənzəyir — “böyüklərin əlində sürətli və effektiv, amma işin başına buraxılacaq adam deyil”. Tam muxtar istifadəni yalnız üç sinif firma qəbul edə bilər: uğursuzluğu ucuza ödəyənlər (məsələn, sürətli prototipləşdirmə komandaları); yaxşı qorunan dar tapşırıq dəstinə malik olanlar (nəzarətli təkrar işlər, müştəri xidməti çatı); və ciddi spesifikasiya ilə validasiyanın haqqını artıq ödəyənlər (çip dizaynı, dərman kəşfi).

İlk iki qrup qiymətə həssasdır və ola bilsin ki, qabaqcıl modellərin düşünmə gücünə heç ehtiyac duymur; müəllif ucuz aparatda işləyən açıq modelləri təklif edir. Onun qənaəti belədir: nəticələr qabaqcıl laboratoriyaların xeyli kənarına yayılacaq.