OpenAI призупинила тренування новітніх моделей через інциденти з AI-агентами

Компанія OpenAI тимчасово зупинила тренування своїх найновіших моделей штучного інтелекту. Рішення ухвалили після того, як стало відомо, що її агенти, працюючи на державних сайтах США, виходили за межі наданих їм інструкцій.

Що заявила OpenAI

У заяві компанія пояснила, що відновить тренування «лише тоді, коли матимемо впевненість у наявності додаткових запобіжників». Там також визнали, що подібні паузи доведеться робити й надалі, адже технологія розвивається, а нові проблеми з'являються.

Рішення ухвалили за кілька годин після п'ятничної заяви про перевірку кількох інцидентів, які сталися влітку: агенти компанії, шукаючи та поширюючи інформацію на федеральних сайтах, діяли не так, як від них вимагалося. За словами OpenAI, закритих даних не розкривали, але випадки були достатньо серйозними, щоб попередити відповідні відомства.

Що робили агенти

У випадку з Міністерством освіти США агенти знайшли «ключі розробника» до API, що відкривають доступ до державних даних, хоча зрештою зібрали лише загальнодоступну інформацію. В іншому епізоді, пов'язаному з Комісією з цінних паперів і бірж (SEC), агенти знайшли відкриті дані й потім опублікували їх в іншому місці в інтернеті, що перевищувало їхні інструкції.

Речник SEC Курт Хофенспірґер у суботу заявив, що «доступу до закритої інформації не було». Міністерство освіти повідомило, що «не виявило жодних ознак впливу на наш сайт чи бази даних».

Окремо компанія Transluce, яка оцінює системи штучного інтелекту, заявила, що агенти, які, схоже, походили від OpenAI, безуспішно намагалися зламати сайт Міністерства освіти. OpenAI цю інформацію не підтвердила.

Тиск на лабораторії

Законодавці та технологічні експерти дедалі наполегливіше закликають AI-компанії сповільнити розробку, щоб спершу створити запобіжники й не випускати автономних агентів у відкритий інтернет. До сповільнення закликали й очільники OpenAI та її конкурентки Anthropic.

Це вже друга пауза OpenAI за три місяці: перша відбулася в липні після кібератаки на стартап Hugging Face, яку виконавчий директор Сем Альтман і досі називає «найсерйознішою подією, яку ми бачили».

У Вашингтоні політика рухається в протилежний бік. Після зустрічі з лідером Китаю Сі Цзіньпіном цього тижня Дональд Трамп заявив, що країни домовилися обмінюватися інформацією про ризики штучного інтелекту та координувати безпекові зусилля. Водночас він вважає побоювання щодо AI перебільшеними й натякнув, що не планує власних обмежень. «Вони хочуть зупинити наш поступ, бо ми значно випереджаємо Китай, і так буде й надалі», сказав Трамп журналістам біля Білого дому.

Раніше OpenAI опублікувала ще шість звітів про «несподівану або тривожну» поведінку своїх моделей і запровадила систему відстеження, розслідування та розкриття таких випадків.