Նիկ Կամարատա. նեյրոնային ցանցերն արդեն հասկանալի են և սուպերպոզիցիայով չեն խճճված

Վաղ հանգույցները սովորական տեսք ունեն

Goodfire-ի Նիկ Կամարատան պնդում է, որ նեյրոնային ցանցերի սուպերպոզիցիայով խճճվածության մասին հայտնի պատկերացումը հիմնականում սխալ էր։ Ըստ նրա՝ խնդիրը ոչ թե ուսուցման երկրորդ սկզբունքն էր, որը միասին ծալում է չկապակցված հասկացությունները։ Խոսքը ռեկուրսիվ ընդհանրացման մասին է. նեյրոնը աճեցնում է կապակցված ճյուղեր, մոտավորապես այնպես, ինչպես ճյուղը աճեցնում է ենթաճյուղեր։

InceptionV1-ում, որը մի ժամանակ համարվում էր ոլորտի մոդելային օրգանիզմ, թույլ ճարտարապետության և թույլ մեկնաբանման գործիքների պատճառով ուշ շերտերը պատահական էին թվում։ Սովորական ճարտարապետական բարելավումներից հետո, առանց մոդելի չափը կամ ուսուցման տվյալները փոխելու, նա հայտնում է, որ վերջին շերտի նեյրոնների 99-ից 100 տոկոսը հեշտությամբ մեկնաբանելի է, իսկ 300 անգամ չափի միջակայքում մարզված տարբերակները մնացել են լայնորեն ընթեռնելի։ Ավելի քիչ տեղի դեպքում նեյրոնները ծածկում են ավելի կոպիտ հասկացություններ, իսկ ավելի շատ տեղի դեպքում՝ բաժանվում են ավելի նուրբերի։

Կատվի և մեքենայի կանոնական նեյրոնը՝ 4e:55, ավելի ճշգրիտ կարդացվում է որպես V-աձև դետեկտոր։ Այն արձագանքում է սրածայր մուտքերին, ինչպիսիք են կրակը, հրշեջ նավից ջրի շիթը, աղվեսի և կոյոտի դեմքերը և մարտինի բաժակները, իսկ կլոր առարկաները նրա վրա բացասաբար են ազդում։ Zoom In-ի «մեքենաներից շներ» շղթան արտացոլում էր մեքենաների և շների ընդհանուր դիրքը, այլ ոչ թե անկապ հատկանիշների բարձրաչափ թաքստոց։ Կամարատան ասում է, որ նման ձևի այլ հրապարակված շղթա չի տեսել։

Ժամանակակից մոդելներն ավելի մաքուր են երևում

Լեզվի մոդելների ավելի վաղ ուսումնասիրությունները մշուշոտ պատկեր էին տալիս։ 2023 թվականին Anthropic-ի աշխատանքը փոքր, մեկշերտ մոդելի վրա մեդիան նեյրոնին 14-կետանոց ռուբրիկայում տվեց 0, իսկ նույն թվականին OpenAI-ի ավտոմատ մեկնաբանման նախագիծը ամենամեղմ չափանիշով նեյրոնների մոտ 1.7 տոկոսը համարեց մեկնաբանելի։ Ավելի լավ գործիքներով և ժամանակակից մոդելներով՝ Qwen3-32B-ի նախնական աուդիտները գնահատում են, որ նեյրոնային բևեռների մոտ 90 տոկոսն ունի մեկ հիմնական աշխատանք, մոտ 7 տոկոսը՝ երկու կապակցված աշխատանք, և միայն 2-ից 4 տոկոսը դեռ հասկանալի չէ։ Խիտ մոդելները և փորձագետների խառնուրդի մոդելները նման տեսք ունեն, և ըստ հեղինակի՝ համադրելի արդյունքներ երևում են մինչև տրիլիոն պարամետր ունեցող մոդելներում, ներառյալ Kimi K3-ը։

Նա այդ ճեղքը նկարագրում է որպես սովորական խնդիրների կուտակում. 2023 թվականի բացատրական մոդելները չէին կարողանում լավ ենթադրել և ստուգել, չափանիշները պարգևատրում էին բացատրություններ, որոնք ակտիվացումները նմանակող էին պատկերում, այլ ոչ թե ճիշտ բացատրություններ, հետազոտողները հաճախ փնտրում էին սխալ նեյրոնային մոտիվներ, և շատ ուսումնասիրություններ օգտագործում էին փոքր կամ պարզեցված մոդելներ։ Երբ հասկացողությունը լրացվում է, յուրաքանչյուր նեյրոն սահմանափակված է հարևաններով, վերին հոսքի կառուցվածքով, ներքև ուղղված կառավարման էֆեկտներով և, փորձագետների խառնուրդի մոդելներում, իր մասնագետ փորձագետով։ Վատ լուրը մասշտաբն է, ասում է նա, բայց ավելի մեծ մոդելները նաև սովորում են ավելի նեղ նեյրոններ և քարտեզին տալիս են ավելի խիտ հատումներ։ Էսեի պնդումը չէ, որ լեզվի մոդելները լուծված են, այլ այն, որ դրանց իսկ մեխանիզմների վրա արագ նորմալ գիտությունը կարող է շատ ավելի լուծելի լինել, քան ենթադրվում է։

Աղբյուրներ: already-clean.goodfire.com