«Are You in the Weights». կայքը ստուգում է՝ ճանաչո՞ւմ են AI մոդելները ձեր անունը

Երկու ծրագրավորող՝ Թոմաս Դիմսոնը և Ջոյի Ֆլինը, գործարկել են intheweights.com կայքը՝ փոքր վեբգործիք, որը պատասխանում է անսովոր հարցին՝ ճանաչո՞ւմ են ձեզ առաջատար արհեստական բանականության մոդելները։ Նախագիծը Hacker News-ում հրապարակվել է որպես «Show HN» գրառում և հավաքել 471 միավոր, ինչը տեխնիկական հետաքրքրասիրությունը վերածել է հանրաճանաչ զբաղմունքի. մարդիկ մուտքագրում են իրենց անունը՝ տեսնելու, թե արդյոք այն պահպանվել է լեզվական մոդելի հիշողության մեջ։

Ինչ է չափում թեստը

Գաղափարը պարզ է։ Խոշոր լեզվական մոդելները գիտելիքը պահում են միլիարդավոր թվերի մեջ, որոնք կոչվում են «կշիռներ»։ Եթե մոդելը որևէ բան հիշում է առանց վեբ որոնման, ուրեմն այն «կշիռների մեջ է»։ Հեղինակների ձևակերպմամբ՝ դա նշանակում է, որ մարզման ընթացքում մոդելը մարդուն բավական կարևոր է համարել, որպեսզի կոդավորի իր կառուցվածքում։ Կայքի «մեր մասին» էջը սա ներկայացնում է որպես յուրահատուկ համբավ. մարդը «ապրում է» այնքան, որքան ինքը մոդելը։

Ինչպես է հաշվարկվում գնահատականը

Յուրաքանչյուր անուն ուղարկվում է մոդելների ցանկին «Ով է <անուն>։ Տուր մինչև 10 արդյունք՝ յուրաքանչյուրը կարճ նկարագրությամբ և վստահության աստիճանով» նման հարցումով։ Պատասխանները խմբավորվում են ըստ նմանության և միջինացվում մեկ ուժի գնահատականի մեջ, գումարած բոնուս այն մոդելների քանակի համար, որոնք ընդհանրապես ճանաչել են անունը։ Մոդելների ցանկը լայն է՝ GPT-5.5, GPT-5.6 Sol, Terra և Luna, GPT-5.4 Mini, Opus 4.8, Haiku 4.5, Grok 4.20, Gemini 3.1 Lite, Thinky Inkling, Kimi K2 0905, DeepSeek V4, Llama 3.3 70B, Llama 3.2 1B, GLM 4.7 Flash, Mistral 3.2 24B և Qwen3 8B։

Փոքր մոդելը՝ դժվար քննություն

Հեղինակները շեշտում են, որ մոդելի չափը կարևոր է. որքան փոքր է մոդելը, այնքան դժվար է հայտնվել նրա կշիռներում։ Llama 3.2 1B-ում հանդիպող անունը, նրանց նշումով, բավական կարևոր է, որպեսզի ներկայացված լինի մոտավորապես մեկ գիգաբայթ պարամետրի սահմաններում, մինչդեռ նույն մարդուն ավելի հեշտ է գտնել շատ ավելի մեծ համակարգում։

Վարկանիշ, սահմանափակումներ և տարօրինակություններ

Ամենօրյա «այսօրվա ծանր քաշեր» աղյուսակը դասավորում է ամենաուժեղ անունները. գրելու պահին առաջին տեղերում էին Վենուստիանո Կարանսան՝ 979, միջագետքյան աստված Մարդուկը՝ 952, իռլանդացի արքա Նիալ Նոյգիալախը՝ 946, աստղագետ Էնի Ջամփ Քենոնը՝ 925 և պոկեմոն Ռոտոմը՝ 903։ Հեղինակները բացահայտ խոսում են մեթոդի թույլ կողմերի մասին. սխալ գրված անունները ցածր գնահատական են ստանում, մոդելների ինքնահայտարարված վստահությունը չի տրամաչափվել և փոխվում է գործարկումների միջև, շատ համընկնումներ ունեցող տարածված անունները ավելի ցածր են գնահատվում, իսկ մոդելները երբեմն հորինում են կենսագրական մանրամասներ։ Գլխավոր էջի պատկերները ստեղծվում են gpt-5.4-image-2-ի կշիռներով, և դրանք ստանում են միայն առաջին 20-ը, քանի որ գործընթացը թանկ է։