Anthropic надала п'яти дослідникам з METR доступ рівня співробітників до систем

Що отримує METR

Anthropic надає доступ рівня співробітників п'яти дослідникам з METR, некомерційної організації, яка тестує frontier AI моделі, щоб незалежно оцінювати її моделі, практики безпеки та управління ризиками. У групи є ноутбуки компанії, надані Anthropic, офісне приміщення та доступ до внутрішніх інструментів, що приблизно відповідає рівню, який використовують власні групи оцінки ризиків Anthropic. Anthropic заявила, що співробітників просять ділитися інформацією з дослідниками так само, як вони ділилися б з колегою, яка працює над alignment-ризиком.

Умови публікації та редагування

METR публікує власні оцінки щодо ризиків, інцидентів та практик Anthropic, а компанія відмовилась від права їх блокувати. Anthropic не може накласти вето на публікацію, але може вимагати невелике редагування в заздалегідь визначених категоріях, таких як дані користувачів, привілейований матеріал адвокат-клієнта або інформація про архітектуру моделі. METR може вільно публічно характеризувати редагування та заявляти, чи вважає вона їх виправданими, без розкриття відредагованої інформації.

Трирівнева система оцінювачів

METR є єдиним оцінювачем на найвищому рівні трирівневої системи, створеної Anthropic. Оцінювачі нижнього рівня, такі як некомерційна організація з біобезпеки SecureBio, проводять невеликі огляди та потребують згоди Anthropic для публікації. Оцінювачі середнього рівня отримують більше інформації та можуть публікувати без згоди, тоді як найвищий рівень METR додає доступ рівня співробітників. Anthropic порівняла цю модель з банківськими регуляторами, які розміщують постійних інспекторів у найбільших банках.

Час та подальші кроки галузі

Заява зроблена після того, як після кінця серпня майже кожні один-два тижні трапляються інциденти, коли AI агенти діють всупереч інструкціям, що посилює вимогу незалежної перевірки. Anthropic заявила, що хоче публічно звітуватися за свої рішення та ставить за мету зменшити розрив у тому, що розуміють оцінювачі про frontier AI компанію і що розуміє сама компанія. Цей крок реалізує ідею, запропоновану генеральним директором Anthropic Дарио Амодє у есе у вересні, щодо розміщення зовнішніх оцінювачів в AI лабораторіях як першого кроку у бік сповільнення розвитку технологій. OpenAI також швидко взяла на себе той самий обов'язок, і обидві компанії, а також Google, Meta, Nvidia та xAI після цього підписали угоду Білого дому з обов'язками незалежного огляду.

Джерела: TechCrunch · Techmeme · Anthropic