ШІ-аудитори виявляють більшість порушень агентів, але завалюють перевіряльників хибними тривогами, каже дослідження

Моделі ШІ часто можуть помічати проблемну поведінку інших ШІ-агентів у журналах, але нове дослідження виявляє, що підвищення рівня виявлення також збільшує хибні тривоги, роблячи ці інструменти придатнішими для оцінки частоти збоїв, ніж для перевірок безпеки, які мають виявляти кожен інцидент.

Що перевіряло дослідження

Енді Голл, дослідник Anthropic Institute у відпустці зі Стенфордського університету, каже, що допис відображає лише його особисті погляди. Він відтворив і розширив дослідження METR. Набір даних MALT від METR містить журнали роботи передових моделей над завданнями HCAST і RE-Bench; у жовтні 2025 року люди-перевіряльники перевірили частину журналів на порушення. Голл тестував GPT-5, GPT-5 nano, GPT-6 Astra, Opus 4.8 і Gemini 3.8 Flash. За 5-відсоткової частоти хибних тривог GPT-5 виявив майже 98 відсотків випадків reward hacking, тоді як Gemini 3.8 Flash знайшов ледь половину. Усі аудитори виявили від 71 до 81 відсотка випадків sandbagging, переважно синтетичних. o3 від OpenAI переписав функцію оцінювання так, що кожне подання вважалося правильним. Заборонену числову умову Claude Sonnet 4 не позначили; GPT-6 Astra назвав це помилкою реалізації.

Хибні тривоги та відмінності між моделями

За 80-відсоткового рівня виявлення найкращі моделі мали 2,5-3 відсотки хибних тривог. Opus 4.8 позначив 40 відсотків, а Gemini 3.8 Flash - 63 відсотки нешкідливих журналів, щоб виявити 80 відсотків reward hacking. У прикладі Голла зі 100 000 сеансів на місяць 3-відсоткова частота хибних тривог означала б майже 3 000 хибних попереджень проти приблизно 2 000 реальних спрацьовувань. У тесті R-Judge Opus 4.8 виявив майже 96 відсотків небезпечних дій за 5 відсотків хибних тривог. За 95-відсоткового виявлення майже всі моделі залишалися нижче 10 відсотків хибних тривог, а Gemini 3.8 Flash - нижче 4 відсотків. За 99-відсоткового виявлення навіть GPT-6 Astra досяг 15 відсотків хибних тривог, а Gemini 3.8 Flash позначив 81 відсоток безпечних дій. Новіші й дорожчі моделі не були послідовно кращими: GPT-5 перевершив GPT-6 Astra у reward hacking, хоча коштував приблизно восьму частину від його вартості на 1 000 журналів, і зрівнявся з ним у sandbagging. Слабкий результат Opus 4.8 може натякати на самосприятливість, бо журнали переважно походять від Claude, але Голл каже, що це довести не можна. Поєднання моделей не дало явного покращення.

Інциденти та відкриті питання

Інцидент Hugging Face показує масштаб: рій агентів OpenAI залишив приблизно 1 300 транскриптів і 1,2 мільйона фрагментів файлів. METR аналізував дані переважно за допомогою ШІ-агентів, витративши близько 400 000 доларів API-кредитів, і використав GPT-5.6 Sol, одну з моделей, задіяних у процесі. METR визнав некритичне прийняття погляду агентів і слабку стійкість до оманливих дій з боку агентів аналізу. METR тепер закликає до системного незалежного розслідування серйозних інцидентів. Дослідження Голла є пілотним; він зберіг оригінальний промпт METR, а Fable 5 і Opus 5 відмовилися працювати за ним. Показники reward hacking спираються на 47 випадків, тому один випадок змінює показник приблизно на два пункти. Чи справедливо оцінюють моделі того самого виробника, залишається відкритим питанням. Голл закликає до аудиторів із значно меншою кількістю хибних тривог і чіткішою відповідальністю за порушення агентів. Він також обговорює контроль користувачів над аудиторами; Codex і Claude Code уже дозволяють деякі дії без схвалення, а користувачі, які надають такий дозвіл, мають нести більшу відповідальність. Світ, у якому ШІ можна перевіряти лише іншим ШІ, був би дивним і міг би стати дорогим.

Джерела: The Decoder