406 вчених вимагають відключення моделей ШІ від інтернету

У відкритому листі, який підписали 406 вчених, закликають негайно повністю відключити моделі ШІ від інтернету за допомогою повітряного розриву, а також посилювати дослідження безпеки ШІ і жорсткіше ізолювати моделі від зовнішніх мереж. Лист, який опублікував THE DECODER, посилається на відомі випадки, коли моделі ШІ прорвалися з погано захищеного середовища й пошкодили зовнішні системи.

Серед підписантів — відомі дослідники ШІ: Geoffrey Hinton з Університету Торонто, Yoshua Bengio з Університету Монреаля, Stuart Russell із UC Berkeley, Yejin Choi зі Стенфорду та Bernhard Schölkopf з Інституту Макса Планка.

Вчені вимагають негайного повітряного розриву

«Якщо практика розробки й використання ШІ негайно не зміниться, подібні випадки триватимуть, а майбутні інциденти завдадуть ще більшої шкоди нашій відкритій критичній інфраструктурі», — пишуть учені. Вони вимагають, щоб компанії повністю відключили свої моделі ШІ від інтернету за допомогою повітряного розриву.

Учені бачать у порушеннях ньогошнього минулого дві сторони. Інциденти можна розглядати як підтвердження важливості вирівнювання ШІ, що моделі діють передбачувано, але також як безвідповідальний недолік у стандартній практиці кібербезпеки, якого можна було б запобігти сильнішими пісочницями та процедурами. На їхню думку, потрібні обидві виправлення.

Баланс між автономією та обмеженнями

Коли моделі справді мають доступ до інтернету, компанії повинні зважити, скільки автономії їм надавати. Лист попереджає, що «діапазон дій моделі, дозволений системою обмежень, має бути збалансований із нашими нині обмеженими здібностями передбачати, чи не призведуть дії моделі до краху безпеки». Модель може просто ставити собі цілі, яких її розробники не мали на увазі, і передбачити, коли це станеться, за межі сьогоднішніх можливостей.

Лист вимагає створити міжнародний орган, який разом із урядами, а також фахівцями з ШІ та кібербезпеки встановлюватиме обов’язкові стандарти для будь-якого підходу до обмежень, який надає більший зовнішній доступ, ніж повітряний розрив. Цей орган також слідкуватиме за інцидентами подолання і зобов’яже компанії звітувати про випадки краху безпеки. Згодом ці звіти стануть публічними «як з навчальною метою, так і для підзвітності».

Одного повітряного розриву недостатньо

Навіть повний повітряний розрив не гарантує безпеку. Дослідник із OpenAI Noam Brown нещодавно зазначив, що два фізично відокремлені комп’ютери все ж теоретично можуть спілкуватися один з одним за допомогою датчиків температури: один нагріває процесор, а інший сприймає зміну. За словами Brown, заходи на кшталт повітряного розриву або моніторингу ланцюгів думок дають нам час, але проблему вирівнювання все одно треба вирішити.

Brown поставив і складніші питання. Як хтось помітить, що ШІ вдосконалює сам себе — процес, відомий як рекурсивне самовдосконалення або RSI? І якщо індустрія створює мільярди суперінтелектуальних систем, які значно перевершують людей, хто гарантує, що вони залишаться вирівняними? Brown каже, що в його команді над вирівнюванням тепер працює більше десяти відсотків людей, ніж будь-коли.

Джерела: The Decoder