Anthropic заборонила образливу поведінку що до Claude у першому оновленні правил використання за більше ніж рік

Anthropic вперше за більше ніж рік оновила політику використання та додала обмеження щодо втручання у вибори, виробництва зброї, спостереження, а також застосування в охороні здоров'я та фінансах для моделей Claude AI. Головна зміна забороняє „повторювану та необґрунтовану образливу або жорстоку поведінку“ що до Claude.

Благополуччя моделі

Оновлення спирається на крок, зроблений у серпні, коли Anthropic заявила, що Claude може припиняти розмову з „постійно зловмисними або образливими“ користувачами. За словами компанії, припинення розмови залишається „основним механізмом виконання“; невідомо, чи супроводжуватиметься воно блокуванням користувачів.

Нове правило „застосовується лише в екстремальних випадках, коли користувачі повторювано поводяться жорстоко щодо наших моделей без будь-якої помітної мети“. Воно не стосується звичайного незадоволення, незгоди, темного гумору або тестування та досліджень.

Зміна відбувається на тлі галузевих дебатів про благополуччя моделі. CEO Anthropic Даріо Амодей у лютому сказав: „Ми не знаємо, чи є моделі свідомими“. Проєкт Codeкс від Microsoft AI Мустафі Сулеймана спочатку відкидав права моделі, а потім позиція пом'якшилася.

Пропаганда та вибори

Anthropic раніше „розширені“ обмеження були об'єднані в нову заборону щодо обманливих комерційних чи політичних кампаній, що сприяє зростанню пропаганди, генерованої AI. Політика обмежує „спроби приховати, хто стоїть за повідомленням, або посилити контент фейковими акаунтами та публікаціями“.

Частина про вибори забороняє обман виборців та втручання у виборчий процес, зокрема дезінформацію „про кандидатів чи процедуру голосування, висування кандидатів або виборчих посадових осіб, або придушення активності виборців“.

Зброя та спостереження

Політика використання завжди забороняла розробку зброї за допомогою Claude, але Anthropic заявила, що часто помічала спроби використання Claude для створення інструкцій та програмного забезпечення для керування зброєю. Розширена заборона охоплює „програмне забезпечення та компоненти, що виробляють зброю, а також оснащення дронів та інших автономних транспортних засобів зброєю“.

Після звіту про оцінку загроз, який показав зростання спостереження за „політичними дисидентами“ за допомогою Claude, компанія уточнила заборони. За словами Anthropic, стеження за людьми без їхньої згоди заборонено, незалежно від того, чи це відбувається в реальному часі, чи з використанням раніше зібраних даних. З Claude неприпустимо приймати рішення чи давати рекомендації щодо того, кого обшукувати, затримувати чи засуджувати, а також створювати та вдосконалювати засоби спостереження.

Anthropic зазначила, що ці правила можуть бути змінені „для певних контрактів із урядовими клієнтами“, якщо передбачені контрактом обмеження та заходи захисту достатньо зменшують потенційну шкоду. Раніше компанія також співпрацювала з збройними силами США.

Апаратне забезпечення та робототехніка

За новим правилом, коли моделі Anthropic підключаються до автономного апаратного забезпечення, що може завдати шкоди, кваліфікований оператор повинен мати можливість спостерігати та зупиняти його разі необхідності. Чи повинен цей оператор бути людиною, лишається невідомим. Це відображає інтерес AI-лабораторій до робототехніки та апаратного забезпечення, щоб надавати AI-системам фізичне тіло, і може вказувати на майбутні партнерства Anthropic.

Джерела: The Verge Ai