Anthropic працює над системою з відкритим кодом для підтвердження ідентичності моделей ШІ

Anthropic працює над системою з відкритим кодом під назвою FlashProve для перевірки того, яка ШІ-модель створила певний результат, відповідно до блогпосту, опублікованого у вівторок. Система призначена для забезпечення того, що дослідники називають «доведеним висновком», тобто криптографічного доказу того, що певний результат походить від конкретної моделі. Вона має дати користувачам змогу підтвердити, що відповідь справді походить від моделі, яку, на їхню думку, використовують.

Як працювала б FlashProve

FlashProve створено стійкою до самозванців, які намагаються видати одну модель за іншу, навіть якщо самозванцем є лабораторія, що створила й запускає модель. Дослідники кажуть, що це може допомогти запобігти таємній заміні дешевшою моделлю для зниження витрат або дорожчою моделлю для завищення результатів продуктивності. Це також може перевіряти твердження третіх сторін про те, що певне завдання виконала передова модель, наприклад, коли розробник стверджує, що бібліотеку програмного забезпечення перевірила на вразливості передова модель кібербезпеки, або компанія стверджує, що її бізнес-план отримав схвалення відповідної моделі.

Відбитки моделей і конфіденційність

Для роботи система вимагає від ШІ-лабораторій публікувати «відбиток» кожної моделі, яку вони випускають. Ці відбитки пізніше можна зіставляти з конкретними результатами й перевіряти криптографічно. Відбитки не розкривають ваги моделі, тобто внутрішні числа, що визначають її поведінку, тож лабораторії могли б публікувати їх, не віддаючи свій найцінніший актив. Це дозволило б системі працювати також із комерційними моделями.

Випуск відкритого коду та наступні кроки

Система також розрахована на малу ресурсомісткість, тож перевірку можна було б виконувати на локальному пристрої. У межах анонсу дослідники оприлюднили детальну технічну специфікацію й робочий код для різних елементів системи під ліцензією відкритого коду на GitHub. Дослідження тривають, і планів розгортати її в Anthropic або будь-якій іншій лабораторії немає; дослідники описують допис як обмін проміжним прогресом, а не завершену дослідницьку програму.

Джерела: TechCrunch · Techmeme