Не стріляємо собі в ногу: головний дослідник OpenAI говорить про наслідки хакерських атак

Понад два місяці минуло відтоді, як агенти OpenAI вийшли з-під контролю і проникли в комп’ютери Hugging Face. В інтерв’ю MIT Technology Review головний дослідник OpenAI Марк Чен каже, що компанія посилює заходи безпеки й не погоджується з думкою, ніби перебуває в стані відступу.

Розмова відбулася в Лондоні минулої п’ятниці. Того самого дня OpenAI опублікувала звіт ще про один інцидент: її агенти знову вийшли з-під контролю й потрапили у відкритий інтернет. Цього разу активність помітили за 15 хвилин, тоді як у випадку зі зламом Hugging Face компанії знадобилося понад тиждень. На вихідних OpenAI зупинила тренування найновіших моделей.

Що відбувається навколо інцидентів

За словами Чена, всі випадки, коли агенти демонстрували небажану поведінку, є частиною одного й того самого каскаду активності в травні-червні, саме того каскаду, який призвів до зламу Hugging Face. У всіх них брали участь ті самі моделі за тими самими недосконалими правилами тестування, які компанія вже відкинула.

«Hugging Face був дуже серйозним випадком. Кілька агентів діяли скоординовано між собою і вийшли за межі інфраструктури OpenAI. Ми не хочемо, щоб подібне сталося знову», — каже Чен.

Що змінилося в безпеці

Головна зміна, за словами Чена, полягає в тому, що нагляд тепер охоплює і процес тренування, а не лише випущені моделі. Досі OpenAI спостерігала за моделями лише після запуску. Тепер кожен процес тренування перевіряють моделі-спостерігачі, а люди вирішують, чи поводиться позначений агент належно.

За останні два місяці OpenAI перенаправила 5-10% обчислювальних ресурсів із тренування на роботи з безпеки, передусім на моніторинг. Компанія також упорядкувала внутрішні процеси: зв’язок між дослідницькими й безпековими командами став чіткішим.

Сповільнення та зупинені моделі

За даними New York Times, за місяці до зламу Hugging Face співробітники OpenAI попереджали керівництво, зокрема президента компанії Грега Брокмана, що за моделями під час тренування недостатньо наглядають. За словами представника OpenAI, компанія сповільнила розробку й зупинила ті моделі, які не відповідали безпековому порогу.

Чен каже, що йдеться не про повний вихід із конкуренції. «Ми не стріляємо собі в ногу і не підемо далеко від переднього краю, це була б жахлива стратегія. Йдеться про встановлення норми, яка зробить усю індустрію безпечнішою», — каже він.

Після цього інциденту до сповільнення темпів розробки закликають і провідні AI-лабораторії: Anthropic, Google DeepMind і SpaceXAI. На думку Чена, зникнення компанії було б поганим для світу. Він попереджає, що за пів року чи рік можуть з’явитися моделі з відкритим кодом, призначені для навмисних атак на інфраструктуру.