“Modellər qəsdən axmaqlaşır”: laboratoriyalar bilikləri düşünmə qabiliyyəti ilə dəyişir

“Models Are Getting Dumber on Purpose” adlı bloq yazısında müəllif iddia edir ki, aparıcı AI laboratoriyaları dünya haqqındakı bilikləri qəsdən düşünmə qabiliyyəti ilə dəyişir: modellər hər token üçün daha az hesablama ilə riyaziyyat və kod tapşırıqlarını həll edir, lakin faktları yadda saxlamaqda zəifləyir.

Əks istiqamətləri göstərən benchmarklar

Yazıya görə GLM-5.2 AIME 2026-da hər token üçün təxminən 40 milyard aktiv parametrlə 99,2% toplayır, Qwen3.5 17 milyardla 91,3%-ə çatır, DeepSeek V4-Flash isə 13 milyardla işləyir. Müqayisə üçün: 2023-cü ildə GPT-4-ə təxminən 280 milyard aktiv parametr aid edilirdi və o, AIME məsələsini çətinliklə həll edirdi. Qwen3.5 9B kvantlaşdırılmış halda 6 GB video yaddaşa sığır və Artificial Analysis-in intellekt indeksində 10 milyarddan az parametrə malik ən yaxşı modelin nəticəsini təxminən iki dəfə üstələyir. Faktların yadda saxlanması isə əks mənzərə yaradır: alətlərin qadağan olduğu SimpleQA-da lider 53% ilə Gemini 2.5 Pro-dur, Qwen3.5 4B və 9B modellərinin hallüsinasiya səviyyəsi isə 80–82%-dir.

Faktlar köhnəlir, prosedurlar yox

Bilik tutumu ilə bağlı tədqiqatlar, o cümlədən “Physics of Language Models” seriyası, hər parametrə təxminən iki bit faktiki bilik düşdüyünü təxmin edir. Müəllifin fikrincə düşünmə daha yaxşı sıxılır, çünki o, təkrar-təkrar tətbiq olunan azsaylı prosedurlar toplusudur: məsələni hissələrə bölmək, aralıq vəziyyəti izləmək, öz işini yoxlamaq, lazım gəldikdə geri qayıtmaq. Phi-4 14 milyard parametrli, əsasən sintetik dərslik üslubunda məlumatlarla öyrədilmiş modeldir: riyaziyyatda güclü, xırda faktlarda zəif. Faktların raf ömrü var, cəbrin isə yox.

Bilik indi harada saxlanılır

Modellər faktları saxlamırsa, onları xarici mühit təmin edir: axtarış, alət çağırışları, sənədlər. Kod agenti asılılığın API səthini əzbər bilməli deyil: node_modules daxilində axtarır və ya sənədləri oxuyur. Müəllif gözləyir ki, bir neçə il ərzində frontier səviyyəli düşünmə tək bir istehlakçı video kartında işləyəcək: DeepSeek V4-Flash artıq təxminən 13 milyard aktiv parametrlə düşünür, qalan 271 milyard isə əsasən fakt anbarı olan ekspert qatlarındadır. Çəkilərə hopdurulmuş yanlış faktı əlavə təlim olmadan düzəltmək mümkün deyil, sənəddəki səhvin isə ünvanı var və onun düzəldilməsi sonrakı bütün sorğuları yaxşılaşdırır. Müəllifin fikrincə, model kartları bir gün bilik kəsim tarixini ümumiyyətlə göstərməyə bilər.