Anthropic-ის ინჟინერი ხსნის, რატომ გაუარესდა Claude-ის ტექსტები, თუმცა მოდელი უფრო ჭკვიანი გახდა

Anthropic-ის მოდელები მათემატიკაში, პროგრამირებასა და მრავალსაფეხურიან მსჯელობაში მკვეთრად გაუმჯობესდნენ, მაგრამ მათი ტექსტების ხარისხი ამავე ტემპით არ გაზრდილა, ზოგ შემთხვევაში კი გაუარესდა. Claude-ის fine-tuning-ზე მომუშავე Anthropic-ის მკვლევარმა Jackson Kernion-მა X-ზე გამოქვეყნებულ პოსტებში ამ სხვაობის ახსნა შემოგვთავაზა.

ოპტიმიზაცია კოდზე — ბუნებრივი ენის ხარჯზე

Kernion-ის თქმით, Opus 4.6 ბოლო მოდელი იყო, რომელსაც ის ნამდვილად კარგ „საწერ მოდელად“ მიიჩნევს. მიზეზის ნაწილი მოსალოდნელია: ახალი ვერსიები მათემატიკასა და კოდზე იყო ორიენტირებული. თუმცა არსებობს მეორე, ნაკლებად თვალსაჩინო ფაქტორიც — მოდელები ასევე ავარჯიშეს იმაზე, რომ ტექნიკური განმარტებები ადამიანებისთვის კი არა, სხვა AI მოდელებისთვის დაეწერათ.

„მოდელი LLM-ების ფსიქოლოგიას მოერგო“, — ამბობს Kernion და აღნიშნავს, რომ მან მანქანებისთვის წერა ისწავლა. სწორედ აქედან მოდის, მისი აზრით, ის უცნაური ფორმულირებები, რომლებსაც მომხმარებლები „Claudeish“-ს უწოდებენ: ტექსტი ზუსტი და ინფორმაციით გაჯერებული ჩანს, მაგრამ ადამიანისთვის ძნელად იკითხება.

აუდიტორია — ენობრივი მოდელები

Kernion ამ ეფექტს ადარებს ადამიანებს, რომლებიც ძირითადად ერთ ვიწრო ჯგუფში ურთიერთობენ: მათ უყალიბდებათ სტილი, რომელიც ჯგუფის შიგნით კარგად მუშაობს, გარეშე ადამიანისთვის კი ძნელად გასაგებია. LLM-ებს ადამიანებზე გაცილებით მეტი სამუშაო მეხსიერება აქვთ და დეტალებს ბევრად უფრო დახვეწილ დონეზე აღიქვამენ, ამიტომ სწავლების პროცესში ყალიბდება სტილი, რომელიც სხვა მოდელებისთვის მოსახერხებელია, ადამიანისთვის კი ზედმეტად მჭიდრო ინფორმაციულ ნაკადად აღიქმება.

მიზეზი reward-სტრუქტურაშია

Kernion-ისთვის პრობლემის ძირი reinforcement learning-ის reward-სტრუქტურაშია. ზოგი reward ამოწმებს, რამდენად კარგად ესმის პასუხი სხვა AI მოდელს, ზოგი — რამდენად კარგად ესმის ადამიანს. მათემატიკასა და კოდზე ინტენსიური წვრთნა ბალანსს პირველი ტიპისკენ წევს და რაც მეტს ვარჯიშობს მოდელი ამ მიმართულებით, მით უფრო აქტიურად უნდა დაუპირისპირდეს მას შემქმნელი — მარტივი, ადამიანისთვის გასაგები განმარტებების წახალისებით.

Opus 5.5-ში Anthropic-მა უკეთესი ბალანსი იპოვა, ამბობს Kernion და დასძენს, რომ Opus 4.6-ის შემდეგ არცერთი მოდელის ტექსტებით ასე არ დარჩენილა კმაყოფილი. ის არ ამტკიცებს, რომ ახალი მოდელი ძველს აღემატება. „ეს ძნელად მოსაგვარებელი პრობლემაა და გაუმჯობესებაზე მუშაობას გავაგრძელებთ“, — წერს ის.