AI Frontiers ենթակազմակերպությունը Microsoft Research-ում վերակազմակերպումից հետո ավարտվում է

Microsoft Research-ի կազմում գործող AI Frontiers ենթակազմակերպությունը ավարտվում է՝ ըստ Machine Learning (Theory) բլոգի գրառման։ Գրողը ասում է, որ խումբը վերակազմակերպվել է Microsoft AI-ի կազմում սեպտեմբերի սկզբին և որ նրա հետազոտությանը կենտրոնացած մոտեցումը հակասում էր Microsoft AI-ի ex-Inflection ղեկավարության մասշտաբավորմանը կենտրոնացած փիլիսոփայությանը։ Նաև ասում է, որ չկարողացավ գտնել կենսունակ ճանապարհ Microsoft Research վերադառնալու համար և հեռացել է։

Ինչպես ձևավորվեց AI Frontiers

2023 թվականի ChatGPT թողարկումից հետո գրողը ասում է, որ հետազոտությունը ավելի շատ կազմակերպվածություն էր պահանջում, քան սովորաբար լինում է Microsoft Research-ում։ Մի քանի մարդ համաձայնեցին և ստեղծեցին AI Frontiers-ը, որը ուներ մոտ 50 մարդ։ Խումբը փորձեց կազմակերպել համահունչ հետազոտական ջանքեր վերևից ներքև և ներքևից վերև մոտեցումների միջանկյալ տարածքում, թեև կային տարաձայնություններ և հաշվողական ռեսուրսների պակաս։

Նրա աշխատանքը ներառում էր գործակալների աշխատանքը ապահովելը, ինչպիսիք են Autogen օրկեստրացիայի շրջանակը և Fara համակարգչային օգտագործման գործակալը։ Նյու Յորքում որոշ անդամներ աշխատում էին հիմնարար կարողությունների վրա, այդ թվում Next Latent նպատակը, Dion3 և Full Bandwidth Transformer։ AI Frontiers-ը նաև մշակեց monorepo, որը լռելյայն հասանելի էր Microsoft Research-ի բոլոր անդամներին, այդ թվում edge scale pretraining կոդային բազան, որը հիշատակվել է COLM keynote-ում։

Վերակազմակերպում Microsoft AI-ի կազմում

Սեպտեմբերի սկզբին AI Frontiers-ը վերակազմակերպվեց Microsoft AI-ի կազմում։ Գրողը ասում է, որ առաջին հայացքից երկու AI կազմակերպությունների միավորումը կարող էր բարելավել ջանքերի կենտրոնացումը, սակայն իրականում կային էական խնդիրներ։ Microsoft AI-ի ex-Inflection ղեկավարությունը ուներ մասշտաբավորման հիմնական փիլիսոփայություն և, գրողի խոսքերով, ագրեսիվ կերպով ոչ թե հետազոտություն։

Գրողը միայն մասշտաբավորմանը կենտրոնացած ուշադրությունը նկարագրում է որպես սխալ ուղղված և ոչ թե զվարճալի, մինչդեռ ասում է, որ հետազոտության մեջ ներդրումների վերադարձը իրական է և զգալի։ Նա մեջբերում է ByteDance-ի փորձարկումները, որոնք ենթադրում են, որ Full Bandwidth Transformer-ի տարբերակը կարող է համեմատելի լինել երկու անգամ մեծ մոդելի հետ, ինչը ենթադրում է խնայողություններ ուսուցման և եզրակացության մեջ։ Նաև ասում է, որ կային ապացույցներ, որ ավելի մեծ կազմակերպությունը իրականում չէր ցանկանում AI Frontiers խմբին։

Ինչու չվերադառնալ Microsoft Research

Գրողը ասում է, որ Microsoft AI-ում չկարողացավ նորարարությունը օգտագործման մեջ դնել կամ նույնիսկ լրջորեն քննարկել, այդ պատճառով Microsoft Research-ից հաջողության հեռանկարները փոքր էին թվում։ Նաև ասում է, որ վախենում է Microsoft Research-ի հիմնական գործարքի փլուզումից՝ արեք լավ աշխատանք և լավ բաներ կպատահեն։ Ասում է, որ լավ աշխատանք է կատարվել, սակայն խումբը ոչ համաձայնեցված կերպով վերակազմակերպվել և հեռացվել է։

AI Frontiers-ը ավարտված է, ասում է գրողը։ Հաջորդ տարի խմբի հետ պրակտիկաներ չեն լինի, և նա լավագույն մաղթանքներ է հայտնում հետևում մնացածներին։ Ավելացնում է, որ Microsoft-ը կարող է կրկին գրավիչ դառնալ հետազոտության համար, եթե որոշումներ կայացնողները ավելի շատ իմաստություն ձեռք բերեն։

Աղբյուրներ՝ hunch.net · Business Examiner