Підрозділ AI Frontiers у Microsoft Research завершує роботу після реорганізації

AI Frontiers, підрозділ у межах Microsoft Research, завершує роботу, повідомляється у дописі в блозі Machine Learning (Theory). Автор каже, що групу реорганізували в Microsoft AI на початку вересня, а її дослідницький підхід конфліктував із філософією масштабування керівництва Microsoft AI, що прийшло з Inflection. Він також каже, що не знайшов життєздатного шляху повернення до Microsoft Research і пішов.

Як було створено AI Frontiers

Після випуску ChatGPT у 2023 році, каже автор, дослідженням потрібна була більша організація, ніж зазвичай у Microsoft Research. Кілька людей погодилися й створили AI Frontiers, у якому було близько 50 людей. Група намагалася організувати узгоджені дослідницькі зусилля у проміжку між підходами зверху вниз і знизу вгору, хоча були розбіжності й брак обчислювальних ресурсів.

Її робота включала забезпечення надійної роботи агентів, наприклад фреймворк оркестрації Autogen і агент керування комп'ютером Fara. У Нью-Йорку деякі учасники працювали над фундаментальними можливостями, зокрема ціллю Next Latent, Dion3 і Full Bandwidth Transformer. AI Frontiers також розробив монорепозиторій, який за замовчуванням спільний для всього Microsoft Research, зокрема кодову базу попереднього навчання в масштабі edge, згадану в доповіді COLM.

Реорганізація в Microsoft AI

На початку вересня AI Frontiers реорганізували в Microsoft AI. Автор каже, що на перший погляд об'єднання двох AI-організацій могло б покращити концентрацію зусиль, але на практиці були суттєві проблеми. Керівництво Microsoft AI, що прийшло з Inflection, мало основну філософію масштабування і, за словами автора, агресивно не займалося дослідженнями.

Автор описує фокус лише на масштабуванні як неправильно спрямований і нецікавий, водночас кажучи, що віддача від досліджень є реальною і значущою. Він посилається на експерименти ByteDance, які свідчать, що варіант Full Bandwidth Transformer може бути порівнянним із моделлю вдвічі більшого розміру, що означає заощадження на навчанні й інференсі. Він також каже, що були докази, що більша організація насправді не хотіла групи AI Frontiers.

Чому не повернутися до Microsoft Research

Автор каже, що не зміг впровадити інновацію у використання або навіть серйозно її розглянути, перебуваючи в Microsoft AI, тому перспективи успіху з Microsoft Research здавалися невеликими. Він також каже, що боїться руйнування базової угоди в Microsoft Research: роби добру роботу, і добрі речі відбуваються. Він каже, що добру роботу було зроблено, але групу реорганізували без згоди.

AI Frontiers закінчилося, каже автор. У наступному році не буде стажувань у групі, і він бажає всього найкращого тим, хто залишився. Він додає, що Microsoft може знову стати привабливим для досліджень, якщо ті, хто контролює компанію, стануть мудрішими.

Джерела: hunch.net · Business Examiner