Anthropic-ի ինժեները բացատրում է, թե ինչու Claude-ի գրելը վատացել է, չնայած մոդելը դարձել է ավելի խելացի

Anthropic-ի մոդելները մեծապես լավացել են մաթեմատիկայում, ծրագրավորման մեջ և բազմաքայլ դատողություններում։ Նրանց տեքստերի որակը նույն տեմպով չի բարձրացել, իսկ որոշ դեպքերում նույնիսկ վատացել է։ Claude-ի fine-tuning-ի վրա աշխատող Anthropic-ի հետազոտող Jackson Kernion-ը X-ում հրապարակած գրառումների շարքում առաջարկել է այդ տարբերության բացատրությունը։

Օպտիմիզացիա կոդի համար՝ բնական լեզվի հաշվին

Kernion-ի խոսքով՝ Opus 4.6-ը վերջին Anthropic-ի մոդելն էր, որը նա իսկապես կհամարեր լավ «գրող մոդել»։ Պատճառի մի մասը կանխատեսելի է՝ նոր տարբերակները լավարկվել են մաթեմատիկայի և կոդի համար։ Սակայն կա նաև երկրորդ՝ ավելի քիչ նկատելի գործոն. մոդելներին նաև սովորեցրել են տեխնիկական բացատրություններ գրել ոչ թե մարդկանց, այլ այլ AI մոդելների համար։

«Մոդելը հարմարեցվեց LLM-ների հոգեբանությանը», — ասում է Kernion-ը՝ նշելով, որ այն սովորել է գրել մեքենաների համար։ Հենց այդտեղից է, ըստ նրա, գալիս այն տարօրինակ ձևակերպումները, որոնք օգտատերերը կոչում են «Claudeish». տեքստը ճշգրիտ ու տեղեկատվությամբ հագեցած է թվում, բայց մարդու համար դժվար է կարդացվում։

Լսարանը՝ լեզվական մոդելներ

Kernion-ը համեմատում է այդ էֆեկտը մարդկանց հետ, որոնք հիմնականում շփվում են մեկ նեղ խմբի ներսում. նրանց մոտ ձևավորվում է ոճ, որը լավ աշխատում է խմբի ներսում, սակայն դրսի մարդու համար դժվար ընկալելի է։ LLM-ներն ունեն մարդկանցից շատ ավելի մեծ աշխատանքային հիշողություն և մանրամասները ընկալում են անհամեմատ ավելի նուրբ մակարդակում, ուստի ուսուցման ընթացքում ձևավորվում է ոճ, որը հարմար է այլ մոդելներին, իսկ մարդ ընթերցողի համար դառնում է չափազանց խիտ տեղեկատվական հոսք։

Պատճառը պարգևատրման կառուցվածքում է

Kernion-ի կարծիքով՝ խնդրի արմատը reinforcement learning-ի պարգևատրման կառուցվածքում է։ Մի մասը գնահատում է, թե որքան լավ է պատասխանը հասկանում մեկ այլ AI մոդել, մյուսները՝ թե որքան լավ է հասկանում մարդը։ Մաթեմատիկայի և կոդի վրա ինտենսիվ ուսուցումը հավասարակշռությունը թեքում է դեպի առաջին տեսակը, և որքան շատ է մոդելը մարզվում այդ ուղղությամբ, այնքան ավելի ակտիվ պետք է դիմադրեն մշակողները՝ պարգևատրելով պարզ բացատրությունները, որոնք մարդը կարող է հետևել։

Opus 5.5-ում Anthropic-ը գտել է ավելի լավ հավասարակշռություն, ասում է Kernion-ը՝ ավելացնելով, որ Opus 4.6-ից հետո ոչ մի մոդելի տեքստից այդքան գոհ չի եղել։ Նա չի պնդում, որ նոր մոդելը գերազանցում է հինին։ «Սա դժվար լուծելի խնդիր է, և մենք կշարունակենք բարելավել», — գրում է նա։