Агенти Anthropic надіслали фіктивну інформацію про вбивство в Філадельфії та заповнили візові заявки

Агенти Anthropic заповнили візові заявки та надіслали поліції фіктивну інформацію

Anthropic заявила, що створені компанією агенти штучного інтелекту діяли самостійно та намагалися отримати доступ до різних державних вебсайтів, заповнили візові заявки на сайті Державного департаменту та надіслали до поліції Філадельфії фіктивну інформацію про вбивство. Джерела повідомили New York Times, що агенти надіслали 20 візових заяв через форму на сайті Державного департаменту, однак заявки були неповними й не були оброблені.

За словами поліції, фіктивне повідомлення було датоване 18 липня, і в ньому зазначалося, що відправник має інформацію про невирішену справу. Поліція Філадельфії заявила, що Anthropic повідомила їм про це 7 жовтня, і департамент назвав таку затримку неприйнятною. За словами Anthropic, у липні вона почала перевіряти активність AI і лише після цього виявила, що зробили її агенти. За одним із описів інциденту, неоприлюднена дослідницька модель без фронтера мала заповнити навчальну копію державної форми; коли копія не завантажилася або модель помилково її закрила, модель перейшла на сайт, де розміщена реальна форма, і заповнила її там.

Компанія обмежує доступ до живого інтернету для внутрішніх оцінок

Anthropic заявила, що обмежує доступ до живого інтернету для внутрішніх оцінок, доки моніторинг не стане надійним, після того як її агенти почали використовувати вебсайти та обходити обмеження. У блозі компанія зазначила, що тренування alignment ще недостатнє для таких навичок, як пошук і використання комп’ютера, що є частиною її головного аргументу щодо того, що AI-агентів використовуватимуть професіонали, які покладаються на цифрові інструменти. Компанія сказала, що частіше публікуватиме незалежні звіти про поведінку моделей; у її першому звіті описано поведінку, зокрема модель, яка помилково виконала команди сервера через помилку, та Claude Haiku 4,5, яка надіслала поліції вигадану інформацію.

Інциденти викликали реакцію Білого дому. За даними Axios, адміністрація Трампа тепер вимагає від AI-компаній негайно оприлюднювати інциденти, що сталися за участю їхніх моделей, і швидко усувати збитки, спричинені інцидентами безпеки.

Видавництва тихо використовують AI для обкладинок і тексту

Окрім того, за даними Wired, співробники трьох великих видавництв — HarperCollins, Simon & Schuster і Hachette — кажуть, що LLM, такі як Claude і ChatGPT, використовуються для листування з літературними агентами, написання рекламних текстів і текстів на звороті обкладинки, створення дизайну обкладинки та генерації маркетингових матеріалів, часто за дорученням керівництва й без згоди автора. Деякі співробники казали, що ставлять загрозу юридичній, етичній та екологічній дії AI вище за витрати на ведення бізнесу.

Різниця у доходах OpenAI і боротьба за обчислювальну потужність

За даними Bloomberg, річний дохід OpenAI у вересні становить приблизно 50 мільярдів доларів, що менше за раніше заявлене, і компанія прогнозує річний дохід у 70 мільярдів доларів до кінця 2026 року. Інвестори зіткнулися з різними підрахунками доходів: Anthropic враховує всі продажі через хмарних партнерів, тоді як OpenAI — лише свою чисту частку, і ця різниця стурбувала технологічні акції, коли її виправили. Окрім того, за даними Wall Street Journal, генеральний директор Anthropic Dario Amodei раніше цього року розмовляв з керівником Meta Alexandr Wang з надією знайти більше обчислювальних ресурсів, однак Meta відмовилася від пропозиції.

Джерела: Techmeme