უკან დაბრუნება

ნაშრომი: ღია 27B მოდელი საკუთარ წონებს ტრენინგის გარეშე გადაწერს
SiTech AI Team2 წთ. საკითხავი

ნაშრომი: ღია 27B მოდელი საკუთარ წონებს ტრენინგის გარეშე გადაწერს

arXiv-ის ახალი პრეპრინტის მიხედვით, ღია 27B ენის მოდელს შეუძლია საკუთარი წარუმატებლობების დიაგნოსტიკა და წონების გადაწერა მხოლოდ მსჯელობის საშუალებით, რაც აქამდე უნახავ ამოცანებზე გრადიენტებისა და ტრენინგის გარეშე აუმჯობესებს შედეგს.

arXiv-ზე 2026 წლის 16 ნოემბერს გამოქვეყნებული პრეპრინტი აღწერს თვითგადაწერას, მეთოდს, რომლითაც ენის მოდელი საკუთარ მსჯელობას იყენებს საკუთარი წონების შესაცვლელად გრადიენტებისა და ტრენინგის გარეშე. ავტორების ცნობით, ღია 27B მოდელი საკუთარი წონების გადაწერის შემდეგ აქამდე უნახავ ამოცანებზე 6,6 პუნქტით გაუმჯობესდა და შეძლო საკუთარი დაზიანებული ასლის შეკეთება. ისინი ამბობენ, რომ ეს უნარი მხოლოდ ერთი ოჯახის ყველაზე დიდ მოდელში გამოჩნდა.

თვითგადაწერა ტრენინგის გარეშე

ნაშრომში ნათქვამია, რომ ენის მოდელი, როგორც წესი, ერთხელ იწვრთნება და შემდეგ იყინება. მის გასაუმჯობესებლად დეველოპერები ჩვეულებრივ დამატებით ტრენინგს ატარებენ, პრომპტებს ან ჰარნესებს ამატებენ, ან ინფერენსის დროს დამატებით გამოთვლით რესურსს ხარჯავენ, რაც ამოცანის შესრულებით მთავრდება. ავტორები თვითგადაწერას მესამე ვარიანტად გვთავაზობენ: მოდელი თავად მოქმედებს როგორც საკუთარი ოპტიმიზატორი და მხოლოდ მსჯელობის საშუალებით გადაწერს საკუთარ წონებს. ისინი ამას ადარებენ ადრინდელ ნაშრომს, რომელშიც წამყვანი მოდელი გაცილებით პატარა მოდელს არედაქტირებდა. ამ კვლევაში ღია 27B მოდელს მისცეს მისი წონები, შეფასებული პასუხები და საკუთარი თავის გაშვების შესაძლებლობა, შემდეგ კი მან დაადგინა საკუთარი წარუმატებლობის მიზეზი და გადაწერა ის წონები, რომლებიც ამ წარუმატებლობის საფუძველი იყო.

ცვლილებების ტესტირება და დაზიანების გამოსწორება

ავტორების ცნობით, მოდელმა საკუთარ თავს გადააჭარბა: საკუთარმა ცვლილებამ ის 6,6 პუნქტით უფრო ზუსტი გახადა იმ ამოცანებზე, რომლებიც მას აქამდე არ უნახავს. ისინი ასევე ამბობენ, რომ მოდელი განაგრძობს გაუმჯობესებას, ცვლილებებს სავარჯიშო ამოცანებზე ტესტავს და ინახავს მხოლოდ იმ ვარიანტებს, რომლებიც მუშაობენ; ყოველი ახალი ცვლილება წინაზე უკეთესია, ზედიზედ რვა სესიის განმავლობაში კი მისი სიზუსტე მხოლოდ იზრდებოდა. სხვა ტესტში მოდელმა საკუთარი დაზიანებული ასლი შეაკეთა. ასლი თითქმის ვერაფერს ხსნიდა, თუმცა გადატრენინგის გარეშე და ორიგინალური წონების წაკითხვის გარეშე მოდელმა ის მიიყვანა ორიგინალური სიზუსტის 80 პროცენტზე მეტამდე გამოსახულებებზე დაფუძნებულ ამოცანებზე, რომლებიც მას აქამდე არ უნახავს.

მასშტაბი და მომავალი გავლენა

უნარი, როგორც ჩანს, მასშტაბთან ერთად ჩნდება. მოდელების ერთ ოჯახში პატარა მოდელებმა ან საერთოდ არაფერი შეცვალეს, ან საკუთარი თავი გააფუჭეს, ხოლო მხოლოდ ყველაზე დიდმა მოდელმა გააუმჯობესა და შეაკეთა საკუთარი თავი. ავტორების თქმით, თვითგადაწერა მიღებულ სარგებელს წონებში წერს და ყოველ პასუხზე დამატებით ხარჯს არ ითხოვს, განსხვავებით ტესტირების დროს მასშტაბირებისგან, და მხოლოდ წინა გავლის გამოთვლებს ასრულებს, როგორც სერვინგის დროს, განსხვავებით ტრენინგისგან. ისინი ამტკიცებენ, რომ ტრენინგსა და ინფერენსს შორის კედელი მიმდინარე ხელსაწყოების შეზღუდვაა და არა ინტელექტის თვისება, ხოლო თვითგადაწერა აუცილებელი ნაბიჯია რეკურსიული თვითგაუმჯობესებისკენ. ისინი ვარაუდობენ, რომ მოდელს შეუძლია მუდმივად განაახლოს საკუთარი თავი უფრო დიდი მოდელის, ჰარნესის ან პრომპტების ინჟინერიის, ასევე წინასწარი ან შემდგომი ტრენინგის გარეშე.

წყაროები: arxiv.org

გააზიარე ციფრული გამოცდილება

SiTech

SiTech — AI-გაძლიერებული ვებ დეველოპმენტი

ვქმნით სწრაფ, თანამედროვე ვებსაიტებს და AI-ს ვაერთიანებთ ქართული ბიზნესებისთვის. გაქვთ პროექტი ან კითხვა? სიამოვნებით დაგეხმარებით.