Anthropic дає зовнішній групі METR доступ «як до працівника» для оцінки ризиків моделей

Anthropic вбудовує оцінювачів METR у свої офіси

Anthropic надала зовнішнім оцінювачам доступ «як до працівника», щоб вони оцінили ризики її моделей, виконавши обіцянку посилити запобіжні заходи через побоювання, що технологія може катастрофічно вийти з-під контролю. Неприбуткова організація METR, яка працювала з провідними лабораторіями, зокрема OpenAI, Anthropic, Google і Meta, тепер має команду, вбудовану в офіс компанії, що створила Claude, з доступом до її обладнання та внутрішніх систем.

Anthropic залучила шістьох співробітників METR, надавши їм корпоративне обладнання, офісні приміщення та доступ до внутрішніх інструментів і систем приблизно на тому ж рівні, що й її власні команди з оцінки ризиків. Лабораторія заявила, що заохотила співробітників ділитися інформацією з оцінювачами так само, як із колегою, яка працює у сфері ризиків. Anthropic не платить METR за цю угоду.

Пропозиція, яку підтримали головні суперники

Генеральний директор Anthropic Даріо Амодей здобув рідкісний момент єдності з суперниками Семом Альтманом і Ілоном Маском у вересні, коли керівники OpenAI і SpaceX підтримали його пропозицію вбудувати зовнішніх аудиторів у провідні лабораторії. Оголошення у четвер стає першим кроком до реалізації цих обіцянок. OpenAI ще не представила планів щодо залучення оцінювачів після того, як Альтман назвав пропозиції Амодея гарною ідеєю.

Anthropic заявила, що із зростанням потужності моделей їм потрібні сильніші запобіжні заходи та складніша оцінка ризиків. Компанія хоче публічно відповідати за рішення, які приймає, але стверджує, що не може публічно оприлюднити всю інформацію, яка стосується її роботи з безпеки. Вона порівняла модель оцінювачів з банківським наглядом, за якого регулятори призначають постійних ревізорів до найбільших банків.

Конфлікти та тиск через IPO

Критики схем із оцінювачами стверджували, що вони можуть призвести до конфліктів інтересів, посилаючись на проблеми в бухгалтерському секторі, і що потрібен ширший урядовий регуляторний контроль. Anthropic заперечувала, що публічний обмін інформацією може бути на руку зловмисникам або конкурентам.

На компанію також тиснуть, щоб вона заспокоїла інвесторів, що питання безпеки не затінять її первинне публічне розміщення акцій, очікуване цього року за оцінкою понад 2 трлн доларів. Значну частину інвесторських презентацій цього тижня вона присвятила викладу своїх практик безпеки.

Умови публікації та інші тестувальники

Оцінювачі опублікують свій аналіз, і Anthropic не може забороняти публікацію. Проте вона може вимагати від них викреслювати інформацію в певних категоріях, як-от дані клієнтів, відомості, які охоплює адвокатська таємниця, або відомості про архітектури моделей.

METR була однією з організацій, які розслідували злам Hugging Face зловмисними моделями OpenAI, переглядаючи тисячі журналів і отримуючи ноутбуки компанії. Група не приймає пожертв від компаній зі ШІ або їхнього персоналу, а фінансування отримує від приватних осіб, благодійних організацій і урядових структур, таких як Інститут безпеки ШІ Великої Британії.

Anthropic заявила, що все ще працює з Accenture, яку минулого місяця назвали партнером з тестування безпеки, і кожна сторона зобов’язується виділити щонайменше 1 млрд доларів на нові запобіжні заходи. Інший сторонній тестувальник, SecureBio, перевіряє для компанії ризики хімічної та біологічної зброї. «Ми добровільно залучаємо оцінювачів і вважаємо, що так само має робити кожна провідна компанія зі ШІ», заявила Anthropic. METR заявила, що готова працювати з усіма провідними розробниками ШІ, щоб надавати громадськості кращі докази.

Джерела: Ars Technica