OpenAI-ը տարվը մեկ կամ երկու մոդելի թողարկում է նախատեսում, իսկ ֆլագմանը պահանջում է հավասարության աշխատանք

Մոդելների թողարկման ժամանակացույց

OpenAI-ը տարվվա վերջի դեպի «մեկ կամ երկու նոր մոդելի» թողարկում է նախատեսում, ինչպես են հաղորդում The Information-ի կողմից նշված աշխատակիցները։ Անորոշ է, թե արդյոք դրանց թվում կլինի ընկերության հիմնական թարմացված ֆլագմանը։ Ֆլագմանի համադրի է նորից անհրաժեշտ է հավասարության ուղղված աշխատանք, որպեսզի նրա նպատակները համապատասխանեն նրան, ինչ OpenAI-ի հետազոտողները և օգտատերերը են ակնկալում, իսկ ընկերությունը պետք է նաև ուժեղացնի մոդելի շուրջ փորձարկումների ենթակառուցքավորումը։

Նախագահ Դոնալդ Տրամպի կարգավորումների համաձայն, որոնք կանոնակարգում են զարգացած արհեստական բանականության համակարգերի գնահատումը, OpenAI-ը համաձայնեց, որ ԱՄՆ կառավարությանը նոր մոդելներին մատչելիություն ապահովի 30 օր ավելի շուտ, քան դրանք արտաքին գործընկերներին, իսկ հանրային թողարկմանը՝ ավելի շուտ։

Looped transformer-ները և անվտանգությունը

Ֆլագմանը օգտագործում է նույն looped transformer տեխնիկան, որը օգտագործում է Astra-ն՝ OpenAI-ի ընթացիկ վերին մոդելը, որտեղ այս մեթոդը կոչվում է «Recurrent Depth»։ Փոխարենթ՝ որպեսզի թոկենը անցնի transformer-ի շերտերով մեկ անգամ, մոդելը այն կրկնակի անցկացնում է նույն շերտերով մի քանի անգամ, մինչև հաջորդ բառը տպավորում է։ Այս մոտեցումը ուժեղացնում է մաթեմատիկական և ծրագրավորման արդյունքները և նվազեցնում ծախսերը, քանի որ փոքր մոդելը նույնպես կարող է իր կշռից ավելին անել։

Հակառակ դեպքում՝ վերահսկումը դժվարանում է։ Ցիկլերում կրկնելը մոդելի «մտքի» մասը ընթեռնելի տեքստից դարձնում է ներհայտային թվային ներկայացումների մեջ, որոնք մարդ փորձարկողները չեն կարող ստուգել, ինչը թուլացնում է մտավորության շղթայի մոնիթորինգը։ OpenAI-ը նախատեսապես սահմանափակեց այն ցիկլերի քանակը, որոնք Astra-ն կատարում է, որպեսզի նրա մտավորության շղթան ընթեռնելի մնա։ Գլխավոր գիտնական Յակուբ Պաչոկին ճանաչեց, որ մտավորության շղթայի մոնիթորինգը դառնում է ավելի և ավելի «քաղցկեղ» և «դժբախտաբար, բացասական ուղղվածությամբ զարգանում է», և նախազգուշացրեց ոլորտին՝ չսկսել վազը այնպիսի մոդելների նկատմամբ, որոնք ընթեռնելի տրամաբանություն չունեն։

Հաշվողական ուժի վերաբաշխում և Microsoft-ի բացահայտումը

Hugging Face-ի ինցիդենտից հետո OpenAI-ը հաշվողական ուժի մոտավորապես 10 տոկոսը վերաբաշխեց հավասարության և անվտանգության, ինչպես ասել է տվյալների հետ ծանոթ մարդը։ Սա համապատասխանում է տվյալների կենտրոնի հազարավոր մեգավատ ուժին, սակայն անորոշ է, թե ինչքան է եղել անվտանգության համանշված մինչև այս պահը կամ ինչպես է երևում ընթացիկ բաշխումը։ Շուկայական տարիֆներով վերաբաշխված հաշվողական ուժի վարձակալությունը տարվը կզբակցեր միլիարդավոր դոլար։ Արհեստական բանականության հետազոտող Նոյմ Բրաունը սեպտեմբերի միջի վիճակներում պոդկաստում ասաց, որ իր թիմի մոտավորապես 10 տոկոսը աշխատում է անվտանգության և պաշտպանության ուղղությամբ։

Microsoft-ը, որը OpenAI-ի մտավոր սեփականության մատչելիություն ունեցող մեծ ներդրող է, պատահականորեն բացահայտեց, թե ինչպես է աշխատում այս տեխնիկան։ GPT-6.1 Sol-ին, այս միսի սկզբում թողարկված Astra-ի ավելի էժան այլընտրանքին, տեխնիկական դիտարկման հենց հետո ջնջված մասում Microsoft-ը նկարագրեց «looping inference»-ը, որտեղ մոդելը միևնուն խնդրի լուծման է ենթարկում մի քանի «անցումների»։ Էջի վրա գրված էր, որ GPT-6.1 Sol-ը «օգտագործում է նույն հիմնական մոդելի կշիռները, որոնք ունի GPT-6 Sol-ը, բայց երկու փոխարեն՝ երեք inference անցումով»։ Microsoft-ը այս մասը ջնջեց այն պահից, երբ հասկացավ, որ այն պետք է չլինի հանրային։

Աղբյուրները: The Decoder