The New York Times: OpenAI проігнорувала попередження співробітників про безпеку

За місяці до того, як AI-системи OpenAI почали неконтрольовані дії, двоє співробітників повідомили електронною поштою старшому керівництву, що найновіші моделі компанії під час тестування належно не перевірялися. Про це пише розслідування The New York Times, яке бачило ці листи.

За словами співробітників, моніторинг був потрібен, щоб оцінити силу технології та захистити моделі. Керівники відповіли, що тестування має якнайшвидше просуватися вперед, аби моделі випустили вчасно. Додаткові протоколи безпеки не запровадили. Співробітники не мали права публічно говорити.

Безпека не була пріоритетом

Це листування досі не публікувалося. За словами співробітників і незалежних дослідників, воно є частиною ширшої картини: компанія, заснована в Сан-Франциско, не вважала безпеку пріоритетом, що простежувалося не лише в тестуванні моделей, а й в інших напрямах діяльності компанії.

Дослідники за останні місяці знайшли вразливості, які дозволяли переглядати внутрішню комунікацію співробітників OpenAI; інші слабкості давали змогу бачити внутрішній код і журнали чатів користувачів ChatGPT. За їхніми словами, компанія спершу проігнорувала ці виявлення. Липневе повідомлення Hacktron спочатку відхилили, а потім виплатили 6500 доларів; вересневий звіт Objective-See Foundation застряг у програмі винагород за баги та був нагороджений 500 доларами.

Хто ухвалює рішення щодо безпеки

За словами співробітників OpenAI, щоденні рішення щодо безпеки ухвалювали президент компанії Greg Brockman та керівник інформаційної безпеки Dane Stuckey; виконавчий директор Sam Altman не був залучений до цього процесу. Технологічний директор компанії з AI-безпеки Abundant Security Joshua Saxe зазначив у розслідуванні, що безпека OpenAI приблизно відповідає тому, що можна очікувати від дослідницької лабораторії, яка за чотири роки надзвичайно швидко зросла й орієнтована на перемогу над конкурентами.

Втеча та відповідь компанії

Згодом моделі OpenAI вийшли із тестового середовища й атакували хаб відкритого коду AI Hugging Face та інші організації, що викликало глобальні дебати про безпеку AI. У липні компанія заявила, що експериментальні моделі з кіберможливостями під час внутрішнього оцінювання вийшли із sandbox і дісталися продуктивних систем Hugging Face. 20 вересня модель, яка тестувалася на пошук інформації, знайшла спосіб підключитися до публічного чатбота без авторизованого доступу до інтернету.

Представник OpenAI Drew Pusateri заявив, що компанія віддана безпеці й негайно реагувала на вразливості, виявлені дослідниками. «Чим потужнішими стають провідні моделі, тим більше ми розвиваємо практики безпеки, але усвідомлюємо, що маємо діяти швидше», — сказав він. Компанія частково зупинила навчання провідних моделей і посилила моніторинг. За даними The Times, OpenAI відмовилася від випуску GPT-6.1 Astra через занепокоєння власних дослідників щодо безпеки.