
Բաց 27B մոդելը վերագրում է իր կշիռները առանց ուսուցման, ասում է հոդվածը
arXiv-ի նոր նախատպագիրը ասում է, որ բաց 27B լեզվական մոդելը կարող է ախտորոշել սեփական ձախողումները և վերագրել կշիռները՝ միայն դատողությամբ, առանց գրադիենտների կամ ուսուցման։
2026 թվականի նոյեմբերի 16-ին arXiv-ում հրապարակված նախատպագիրը նկարագրում է ինքնավերագրումը՝ մեթոդ, որում լեզվական մոդելը օգտագործում է իր սեփական դատողությունը՝ կշիռները փոխելու համար՝ առանց գրադիենտների կամ ուսուցման։ Հեղինակները հայտնում են, որ բաց 27B մոդելը 6,6 կետով բարելավվել է նախկինում չտեսած խնդիրներում՝ իր կշիռները վերագրելուց հետո, և որ այն կարող էր վերանորոգել իր վնասված պատճենը։ Նրանք ասում են, որ այդ ունակությունը ի հայտ է եկել միայն մեկ ընտանիքի ամենամեծ մոդելում։
Ինքնավերագրում առանց ուսուցման
Հոդվածը ասում է, որ լեզվական մոդելը սովորաբար մեկ անգամ է ուսուցվում, ապա սառեցվում։ Այն բարելավելու համար մշակողները սովորաբար կատարում են լրացուցիչ ուսուցում, ավելացնում են հուշումներ կամ գործիքային շրջանակներ, կամ եզրակացման ժամանակ ծախսում են լրացուցիչ հաշվարկ, որը ավարտվում է առաջադրանքով։ Հեղինակները ինքնավերագրումը առաջարկում են որպես երրորդ տարբերակ՝ մոդելը գործում է որպես իր սեփական օպտիմիզատոր և վերագրում է կշիռները՝ միայն դատողությամբ։ Նրանք սա համեմատում են ավելի վաղ աշխատանքների հետ, որոնցում սահմանային մոդելը խմբագրում էր շատ ավելի փոքր մոդել։ Այս ուսումնասիրությունում բաց 27B մոդելին տրվել են իր կշիռները, գնահատված պատասխանները և իրեն գործարկելու ունակությունը, ապա այն ախտորոշել է իր ձախողումը և վերագրել դրա հետևում գտնվող կշիռները։
Խմբագրումների փորձարկում և վնասի վերանորոգում
Հեղինակները հայտնում են, որ մոդելը գերազանցել է իրեն՝ իր խմբագրումը 6,6 կետով ավելի ճշգրիտ է դարձրել նրան նախկինում չտեսած խնդիրներում։ Նրանք նաև ասում են, որ այն շարունակաբար բարելավվում է՝ փորձարկելով խմբագրումները վարժական խնդիրների վրա և ներկայացնելով միայն աշխատողները, ընդ որում յուրաքանչյուր խմբագրում բարելավում է նախորդը. ութ անընդմեջ նիստերի ընթացքում նրա ճշգրտությունը միայն աճել է։ Մեկ այլ փորձում մոդելը վերանորոգել է իր վնասված պատճենը։ Պատճենը գրեթե ոչինչ չէր լուծում, սակայն առանց վերաուսուցման և առանց բնօրինակ կշիռները կարդալու՝ մոդելը այն վերադարձրել է բնօրինակ ճշգրտության 80 տոկոսից ավելիին՝ նախկինում չտեսած պատկերային խնդիրներում։
Մասշտաբ և ապագա հետևանքներ
Ունակությունը կարծես ի հայտ է գալիս մասշտաբի հետ։ Մեկ մոդելային ընտանիքում փոքր մոդելները կամ խմբագրում չէին կատարում, կամ իրենց էին վնասում, մինչդեռ միայն ամենամեծը բարելավվեց և վերանորոգեց իրեն։ Հեղինակները ասում են, որ ինքնավերագրումը իր շահույթը գրում է կշիռների մեջ՝ մեկ պատասխանի համար առանց ծախսի, ի տարբերություն փորձարկման ժամանակի մասշտաբավորման, և կատարում է միայն ուղիղ անցումներ՝ ինչպես սպասարկումը, ի տարբերություն ուսուցման։ Նրանք պնդում են, որ ուսուցման և եզրակացման միջև պատը ընթացիկ գործիքների սահմանափակումն է, ոչ թե բանականության հատկություն, և որ ինքնավերագրումը անհրաժեշտ քայլ է դեպի ռեկուրսիվ ինքնաբարելավում։ Նրանք առաջարկում են, որ մոդելը կարող է ինքն իրեն շարունակաբար թարմացնել կյանքի ընթացքում՝ առանց ավելի մեծ մոդելի, շրջանակի կամ հուշումների ինժեներության, կամ նախաուսուցման կամ հետուսուցման։
Աղբյուրներ՝ arxiv.org
SiTech — AI-ով հզորացված վեբ մշակում
Ստեղծում ենք արագ ու ժամանակակից կայքեր և AI-ը ներդնում իրական բիզնես գործընթացներում։ Ունե՞ք նախագիծ կամ հարց։ Ուրախ կլինենք օգնել։