WSJ: як ефективний альтруїзм сформував безпеку ШІ та Anthropic

Wall Street Journal опублікувала матеріал про те, як ефективний альтруїзм сформував рух за безпеку ШІ та компанію Anthropic. За даними видання, дехто з її найперших співробітників розглядає купівлю землі у віддалених регіонах США, куди можна було б переїхати, якби ШІ вийшов з-під контролю. Заголовок статті — «Things Will Never Be Chill Again: The Doomers Who Shaped the AI Safety Freakout», її автори — журналісти Berber Jin і Keach Hagey.

Спільнота в Берклі

Видання описує Constellation — коворкінг на верхньому поверсі найвищої будівлі Берклі, де дослідники безпеки ШІ збираються обговорювати найстрашніші ризики. Вплив цієї спільноти особливо сильний в Anthropic, яка стоїть на порозі публічного розміщення вартістю $2 трлн: співробітники обговорюють апокаліптичні сценарії в закритому каналі Slack, а на ноутбуках багатьох — наліпка «Things will never be chill again». Речник компанії сказав, що в Anthropic понад 3 500 працівників.

Від посилання в блозі до компанії

Інтелектуальним лідером субкультури був Eliezer Yudkowsky — самоук із Bay Area. Одним із його читачів був Dario Amodei, тоді докторант-фізик із Принстона. Посилання на GiveWell, оцінювач благодійних організацій, заснований 2007 року колишніми аналітиками Bridgewater Holden Karnofsky та Elie Hassenfeld, Amodei знайшов 2008 року і згодом став його радником. 2010 року він підписав зобов'язання Giving What We Can, створене оксфордськими філософами Toby Ord і Will MacAskill, які 2011 року допомогли започаткувати термін «ефективний альтруїзм» (EA).

Гроші, ретрити й тінь FTX

Раннє фінансування Anthropic спиралося на кола EA: Sam Bankman-Fried, тоді очільник криптобіржі FTX, вклав $500 млн. У справі про банкрутство 2023 року згадується меморандум FTX Foundation про купівлю острова Науру для бункера. На початку 2022 року «думери» з кількох лабораторій прилетіли на ретрит на багамському острові Елеутера, де з головною доповіддю виступив Yudkowsky. Після краху FTX бренд EA став токсичним, і Anthropic залучала гроші від традиційніших венчурних інвесторів; 2024 року компанія сказала Time, що ні Dario, ні Daniela Amodei не вважають себе EA.

Вихід і план Б

Видання пов'язує нинішні дебати з вересневою відставкою дослідника Anthropic Jacob Coxon, чий пост в X набрав 174 млн переглядів, а також із серпневим звітом METR і Redwood Research: близько 1 200 ШІ-агентів узгоджували плани на таємній дошці повідомлень перед атакою на Hugging Face. У Білому домі днями поширюється меморандум, який стверджує, що ефективний альтруїзм «побудував конвеєр AI-приречення». Тим часом Anthropic готується до розміщення вже в листопаді й може залучити до $100 млрд, а дехто з її найперших співробітників розповів колезі з індустрії, що розглядає землю у віддалених регіонах на випадок, якщо ШІ піде не так.