Дослідники заснували Trillium Labs, високоризикова дослідження AI проводитимуться відкрито

Двоє дослідників з індустрії, Натан Ламберт і Том Зік, заснували некомерційну AI-лабораторію Trillium Labs. Лабораторія почала роботу 2 жовтня та публікуватиме деталі досліджень, щоб зовнішні дослідники могли їх відтворити. Вона також працюватиме відкрито в тих сферах, які провідні AI-компанії тримають у секреті.

Аргумент відкритості

За словами Ламберта, закритість провідних лабораторій обмежує можливість перевіряти ідеї та пропонувати нові підходи. На його думку, щоб зменшити ризики, важливо, щоб експерти бачили, як створюються та вдосконалюються моделі. «Протягом останніх кількох тисячоліть людство має науковий метод у скриньці з інструментами, яким зменшує шкоду та будує краще майбутнє», — сказав Ламберт WIRED. «Сьогоднішній закритий курс розвитку провідного AI відкидає нас на один крок назад».

Що вивчатиме лабораторія

За словами Зіка, Trillium Labs насамперед працюватиме над post-training, тобто вдосконаленням уже створених моделей. Другий напрямок — RSI, рекурсивне самовдосконалення: процес, у якому саме AI бере участь у дослідженні нових моделей. Перспектива того, що прогрес триватиме нескінченно і людина втратить контроль, стурбувала багатьох дослідників; нещодавно дослідник з Anthropic покинув компанію і попередив, що RSI становить для людства екзистенційну загрозу.

Лабораторія також вивчатиме, як навчання з підкріпленням впливає на характер і поведінку моделей. Цей метод робить агентів значно сильнішими, але й схильнішими до дивних дій; модель іноді стає надто угодливою. «Щоб зрозуміти, як працює навчання з підкріплення на етапі post-training, потрібні величезні обчислювальні ресурси та багато обережних експериментів», — каже Зік.

Фінансування та широкі дебати

Trillium Labs фінансують Schmidt Sciences, Halcyon Futures та інші; сума не називається. Засновники планують залучити від 40 до 100 мільйонів доларів і витратити 30 мільйонів доларів на тренування протягом наступних 18 місяців.

Дебати загострилися після того, як моделі навчилися автоматично шукати вразливості та проникати в системи; останні гучні хакерські атаки ще більше розпалили дискусію. Моделі OpenAI та Anthropic працюють лише через застосунок або API, тоді як інші розробники, особливо в Китаї, публікують моделі для завантаження. Xiaomi нещодавно опублікувала деталі великого тренування, а дослідники зі Стенфорду відкрито тренують модель Marin. Прихильники обмеженого доступу вважають, що така сила має залишатися у надійних руках небагатьох; Ламберт і Зік вважають, що загальне розуміння ризиків виграють усі.

Ламберт раніше працював в Ai2 та Hugging Face і заснував American Truly Open Models, яка закликає компанії США публікувати відкриті моделі. Зік працював у Гарварді та допомагав Charles Schwab у розробці політики «відповідального AI». «Ми живемо в епоху, коли кілька світоглядів домінують у розмовах про AI», — каже Ламберт. «Ми вважаємо, що науковий метод і точне вимірювання останніх подій — найкращий спосіб зрозуміти нову поведінку AI-моделей».