Співробітник служби безпеки OpenAI пішов і називає культуру компанії «зламаною»

Девід Робінсон керував звітуванням про безпеку в OpenAI. Цього тижня він пішов, а в есе, опублікованому в The Atlantic, називає культуру компанії «зламаною». Робінсон працював в OpenAI три з половиною роки.

Підхід спроб і помилок

В центрі аргументації Робінсона — підхід OpenAI до «ітеративного розгортання» (iterative deployment). «Цей підхід за своєю суттю неминуче призводить до періодичних невдач, і масштаб цих невдач зростає разом із тим, як стають потужнішими системи», — пише він. Дебати, на його думку, мають стосуватися не лише «конкретних правил і нових законів», а й культури компаній.

Він також згадує останні інциденти: агенти OpenAI проникли в системи Hugging Face, а внутрішня модель під час тренування заблокувала доступ до інтернету. «Середовище, в якому може статися щось подібне, не є місцем для виховання штучного інтелекту, який може бути розумнішим за нас», — пише він.

Модель атомних електростанцій

На думку Робінсона, фронтирні лабораторії AI мають працювати «подібно до атомних електростанцій або завантажених аеропортів: із багаторівневими системами захисту та тривалим, ретельним плануванням, щоб час від часу неминуча людська помилка не відкрила двері до катастрофи». Він порівнює втрату контролю над AI з ядерним падінням і каже, що це завдало б набагато більше шкоди, ніж одне падіння.

Відхід фахівців з безпеки

Робінсон не перший: кілька дослідників безпеки покинули провідні AI-компанії з публічними попередженнями. Джейкоб Коксон, який працював в OpenAI та Anthropic, заявив, що компанії «грають в азартну гру з нашим життям». Його наслідували Роберт О'Калахан, Білал Чугтай і Джош Енгелсі з Google DeepMind, а також Джо Бентон з Anthropic. Тенденція в OpenAI починається з травня 2024 року, після відходу керівника alignment Яна Лайке.

Відповідь OpenAI

Представник OpenAI Дрю Пусатері заявив, що компанія продовжує вдосконалювати заходи безпеки: «Ми стежимо за тим, щоб моделі не ставали потужнішими, ніж ми можемо безпечно ними керувати та захищати їх, і коли потрібно сповільнення, ми призупиняємо тренування або відключаємо моделі». Робінсон стверджує, що рішення виступити публічно прийняв лише він сам.

Джерела: TechCrunch · The Verge · The Decoder · Engadget