Anthropic mühəndisi model daha ağıllı olsa da Claude-un yazısının niyə pisləşdiyini izah edib

Anthropic-in modelləri riyaziyyatda, proqramlaşdırmada və çoxaddımlı düşünmədə xeyli irəliləyib. Amma mətnlərinin keyfiyyəti eyni templə artmayıb, bəzi hallarda isə pisləşib. Claude-un fine-tuning-i üzərində işləyən Anthropic tədqiqatçısı Jackson Kernion X-də yayımladığı paylaşımlar silsiləsində bu fərqin izahını təklif edib.

Koda optimallaşdırma — təbii dilin hesabına

Kerniona görə, Opus 4.6 onun həqiqətən yaxşı «yazı modeli» adlandıracağı son Anthropic modeli idi. Səbəbin bir hissəsi gözləniləndir: yeni versiyalar riyaziyyat və kod üçün optimallaşdırılıb. Lakin daha az görünən ikinci amil də var — modellər texniki izahları insanlar üçün deyil, digər AI modelləri üçün yazmağa da öyrədilib.

«Model LLM psixologiyasına uyğunlaşdırıldı», — deyir Kernion və əlavə edir ki, o, maşınlar üçün yazmağı öyrənib. Onun fikrincə, istifadəçilərin «Claudeish» adlandırdığı qəribə ifadələr elə buradan gəlir: dəqiq və məlumatla zəngin görünən, amma insan üçün oxunması çətin mətn.

Hədəf auditoriya: dil modelləri

Kernion bu effekti əsasən bir dar qrup daxilində ünsiyyət quran insanlara bənzədir: onlarda qrupun içində yaxşı işləyən, kənar adam üçün isə anlaşılması çətin olan üslub yaranır. LLM-lərin iş yaddaşı insanlardan qat-qat böyükdür və detalları daha incə səviyyədə qavrayırlar; buna görə təlim prosesində digər modellərə uyğun üslub formalaşır və insan oxucuya həddindən artıq sıx məlumat axını kimi çatır.

Problemin kökü mükafat strukturundadır

Kerniona görə, problemin kökü reinforcement learning-dəki mükafat strukturundadır. Mükafatların bir hissəsi cavabın başqa bir AI modeli tərəfindən nə qədər yaxşı anlaşıldığını, digərləri isə insanın onu nə qədər yaxşı anladığını ölçür. Riyaziyyat və kod üzərində intensiv təlim balansı birinci növə doğru dəyişir və model bu istiqamətdə nə qədər çox öyrədilirsə, tərtibatçılar bir o qədər fəal şəkildə qarşı durmalı olurlar — insanın izləyə biləcəyi sadə izahları mükafatlandırmaqla.

Anthropic Opus 5.5 ilə daha yaxşı balans tapıb, deyir Kernion və əlavə edir ki, Opus 4.6-dan bəri heç bir modelin yazısından bu qədər məmnun qalmayıb. Yeni modelin köhnəni üstələdiyini iddia etmir. «Bu, həlli çətin problemdir və biz təkmilləşdirməyə davam edəcəyik», — yazır o.