OpenAI використовує приховану рекурсію в Astra, дослідники безпеки попереджають про моніторинг

Менш читабельний слід

OpenAI впровадила техніку прихованої рекурсії в Astra. Замість запису кроків модель виконує один запит кілька разів у циклі, що залишає менш читабельний слід і суттєво ускладнює запис ланцюга міркувань, на який покладаються команди безпеки.

Ланцюг міркувань зазвичай є послідовністю кроків, які модель проходить до отримання відповіді. Дослідники попереджають, що це неповне вікно, а не дослівний запис, хоча в галузі це основний спосіб виявити неправильну поведінку та зсув від поставлених цілей. У останньому випадку з автономними агентами OpenAI записи ланцюга міркувань дозволили відновити, чому агенти діяли саме так, як діяли.

Покладення щодо моніторингу

Виконавчий директор Redwood Бак Шлегеріс заявляє, що техніка викликає крайнє занепокоєння і він ще не знає, наскільки складніше моніторити Astra, ніж попередні системи. Його занепокоєння стосується градієнта: якщо OpenAI продовжить її розвиток, кількість повторюваних циклів може різко зрости і практично знищити здатність відстежувати ланцюг міркувань взагалі.

Головний науковець Redwood Research Раян Грінблат заявляє, що приховане міркування може зростати набагато швидше, ніж звичайний ланцюг міркувань, і що весь процес міркувань може опинитися за межами видимих каналів. Він прямо назвав ключову межу: розвиток техніки до того моменту, коли модель повністю або майже повністю міркуватиме в латентному просторі, і водночас сказав, що сподівається, OpenAI зупиниться там, де зараз.

Зві Моушовіц поставив проблему як питання координації і сказав, що можливо, знадобляться правила, щоб зупинити перегони вниз між лабораторіями. Він зазначив, що техніка суперечить неписаному правилу, якого намагалися дотримуватися OpenAI і Anthropic: ланцюг міркувань має залишатися максимально віддалим і доступним для спостереження.

Відповідна позиція OpenAI

OpenAI відкинула натяк щодо того, що вона наближається до нейромови, внутрішні уявлення якої людина не може прочитати. Компанія заявила, що використання техніки в Astra обмежене і міркування моделі має залишатися читабельним для спостерігачів. Лабораторія також заявила, що планує побудувати масштабні системи моніторингу ланцюга міркувань у рамках майбутньої програми безпеки.

Головний науковець компанії Якуб Пачоцький написав у X, що OpenAI зберігає моніторинг ланцюга міркувань і використовує моделі з першими здібностями до міркувань, і називає це однією з центральних цілей своєї поточної дослідницької програми.

Заспокоєння і занепокоєння не виключають одне одного. OpenAI захищає своє бачення, дослідники ж вказують на можливість, яка вже існує в випущеній моделі і не має природної точки зупинки. Не повідомляється, скільки повторюваних циклів виконує Astra, скільки міркувань поглинає цикл або що означає «обмежено» на практиці. The Information повідомила, що Anthropic і Google DeepMind вже розглядали цю техніку.

Джерела: Dataist · Techmeme · Theinformation