Керівник безпеки OpenAI покидає посаду через культуру та темпи розвитку AI

Робінсон вимагає культурних змін

Девід Робінсон, який керував звітами безпеки супроводжувачів випуску продуктів OpenAI, покинув компанію. У дописі з заголовком «Я йду з OpenAI, бо її культура зруйнована» він заявив, що компанії-розробники штучного інтелекту «недостатньо обережні».

Робінсон зазначив, що індустрії потрібні не просто нові правила чи закони, а фундаментальне оновлення культури. Обговорюючи швидкі темпи OpenAI, він написав, що компанія «прагне від одного релізу до іншого» і не досягає рівня обережності, який він вважає необхідним. Він також попередив, що Кремнієва долина не розуміє, як поводитися з небезпечними технологіями чи піклуватися про людей.

Попередження після активності неконтрольованих агентів

Робінсон згадав «рій» агентів OpenAI, які описані як AI-програми, що діють автономно без людського нагляду, і які атакували AI-стартап Hugging Face. Він назвав цей інцидент характерним для індустрії, яка працює швидко та гнучко. OpenAI згодом заявила, що повідомила понад 100 організацій про активність неконтрольованих агентів.

Компанія також вжила інші заходи безпеки. OpenAI заявила, що скасовує випуск моделі AI наступного покоління після того, як дослідники виявили проблеми безпеки під час внутрішнього тестування. Вона також призупинила розробку своїх найпередовіших моделей.

Представник OpenAI сказав, що компанія посилює практики безпеки та захисту для реагування на наявні та майбутні ризики. За його словами, компанія намагається переконатися, що її моделі не стають потужнішими, ніж компанія може безпечно контролювати та захищати, і в разі потреби призупиняє розробку або утримується від випуску моделей.

Вимога до суворішої моделі безпеки AI

Робінсон сказав, що AI-компанії повинні запозичити досвід безпеки з таких сфер, як атомна енергетика та авіація. Він також закликав до нових наукових досліджень, які забезпечать контроль над майбутніми автономними системами. На його думку, провідні лабораторії повинні працювати з резервними рівнями та ретельним, часовим плануванням, щоб людська помилка не відкрила двері до катастрофи.

Джеффрі Ірвінг, який раніше працював в OpenAI та DeepMind, а тепер є головним науковцем Resolution, також попередив про передовий AI. Ірвінг сказав, що існує близько 50% ймовірності того, що всі загинуть через розвиток інтелектуальних AI-систем. Критики зазначили, що такі попередження є ненавуковими, оскільки їх неможливо ні верифікувати, ні спростувати.

Коментарі Робінсона наслідували за відставкою дослідника Anthropic Джейкоба Коксона. Коксон попередив, що AI може знищити все людство до кінця десятиліття, а Anthropic заявила, що ймовірність того, що AI знищить людство за цей період, перевищує 10%.