Microsoft Research-ში AI Frontiers-ის ორგანიზაცია რეორგანიზაციის შემდეგ წყვეტს არსებობას

Machine Learning (Theory) ბლოგის პოსტის მიხედვით, Microsoft Research-ის შიგნით არსებული ქვეორგანიზაცია AI Frontiers არსებობას წყვეტს. ავტორი ამბობს, რომ ჯგუფი სექტემბრის დასაწყისში Microsoft AI-ში რეორგანიზდა და რომ მისი კვლევაზე ორიენტირებული მიდგომა ეწინააღმდეგებოდა Microsoft AI-ის ყოფილი Inflection-ის ხელმძღვანელობის სკეილინგზე ორიენტირებულ ფილოსოფიას. ის ასევე ამბობს, რომ Microsoft Research-ში დაბრუნების სიცოცხლისუნარიანი გზა ვერ იპოვა და უკვე წავიდა.

როგორ ჩამოყალიბდა AI Frontiers

2023 წელს ChatGPT-ის გამოსვლის შემდეგ, ავტორის თქმით, კვლევას Microsoft Research-ისთვის დამახასიათებელზე მეტი ორგანიზება სჭირდებოდა. რამდენიმე ადამიანი დაეთანხმა და შექმნა AI Frontiers, რომელშიც დაახლოებით 50 ადამიანი იყო. ჯგუფი ცდილობდა კვლევითი ძალისხმევის თანმიმდევრულად ორგანიზებას ზემოდან ქვემოთ და ქვემოდან ზემოთ მიდგომებს შორის შუალედურ ადგილზე, თუმცა იყო უთანხმოებები და გამოთვლითი რესურსების ნაკლებობა.

მის საქმიანობაში შედიოდა აგენტების მუშაობის უზრუნველყოფა, მაგალითად Autogen-ის ორკესტრაციის ჩარჩო და Fara-ს კომპიუტერის სამართავი აგენტი. ნიუ-იორკში ზოგიერთი წევრი ფუნდამენტურ შესაძლებლობებზე მუშაობდა, მათ შორის Next Latent objective-ზე, Dion3-ზე და Full Bandwidth Transformer-ზე. AI Frontiers-მა ასევე შექმნა monorepo, რომელიც ნაგულისხმევად მთელი Microsoft Research-ისთვის იყო საერთო, მათ შორის edge scale pretraining-ის კოდური ბაზა, რომელიც COLM-ის keynote-ში იყო ნახსენები.

რეორგანიზაცია Microsoft AI-ში

სექტემბრის დასაწყისში AI Frontiers Microsoft AI-ში რეორგანიზდა. ავტორი ამბობს, რომ ერთი შეხედვით ორი AI ორგანიზაციის გაერთიანებას შეეძლო ძალისხმევის კონცენტრაციის გაუმჯობესება, მაგრამ პრაქტიკაში არსებითი პრობლემები იყო. Microsoft AI-ის ყოფილი Inflection-ის ხელმძღვანელობის ძირითადი ფილოსოფია სკეილინგი იყო და, ავტორის სიტყვებით, აგრესიულად არაკვლევითი.

ავტორი მხოლოდ სკეილინგზე ფოკუსირებას არასწორად მიმართულ და არასასიამოვნო მიდგომად აღწერს, თან ამბობს, რომ კვლევაში ჩადებული ინვესტიციის ანაზღაურება რეალური და მნიშვნელოვანია. ის მაგალითის სახით მოჰყავს ByteDance-ის ექსპერიმენტები, რომლებიც მიანიშნებენ, რომ Full Bandwidth Transformer-ის ვარიანტი შეიძლება ორჯერ დიდი ზომის მოდელის შესადარებელი იყოს, რაც ტრენინგსა და ინფერენსში დაზოგვას გულისხმობს. ის ასევე ამბობს, რომ ბევრი მტკიცებულება იყო იმისა, რომ უფრო დიდ ორგანიზაციას AI Frontiers-ის ჯგუფი ნამდვილად არ სურდა.

რატომ არ დაბრუნდა Microsoft Research-ში

ავტორი ამბობს, რომ Microsoft AI-ში ყოფნისას ინოვაცია ვერ დანერგა და ვერც იმას მიაღწია, რომ სერიოზულად განეხილათ, ამიტომ Microsoft Research-იდან წარმატების პერსპექტივა მცირე ჩანდა. ის ასევე ამბობს, რომ ეშინია Microsoft Research-ში ძირითადი შეთანხმების დარღვევის: კარგი საქმე გააკეთე და კარგი რამ მოხდება. მისი თქმით, კარგი საქმე გაკეთდა, მაგრამ ჯგუფი მათი თანხმობის გარეშე, რეორგანიზაციის შედეგად დაიშალა.

ავტორი ამბობს, რომ AI Frontiers დასრულდა. მომავალ წელს ამ ჯგუფთან სტაჟირება აღარ იქნება და დარჩენილებს საუკეთესოს უსურვებს. ის ამატებს, რომ Microsoft შეიძლება კვლევისთვის კვლავ მიმზიდველი გახდეს, თუ კომპანიის მმართველები მეტ სიბრძნეს გამოავლენენ.

წყაროები: hunch.net · Business Examiner