Кожна AI-лабораторія вважає відповідальною саме себе, і це підживлює гонку, каже Раян Ґрінблатт

Раян Ґрінблатт, головний науковець компанії з безпеки AI Redwood Research, назвав цифру ризику захоплення контролю штучним інтелектом. У подкасті Сема Гарріса він сказав, що якщо розробка йтиме поточним шляхом, існує приблизно 50-60% імовірності, що неузгоджені AI-системи візьмуть контроль на себе. У такому сценарії, додав він, є також серйозний ризик, що багато людей або й усі люди загинуть.

Ця оцінка, ймовірно, трохи вища за середню по галузі. Гарріс зауважив, що такі числа не узгоджуються з тим, як галузь поводиться на практиці. Якби вчені Мангеттенського проєкту бачили 10-відсоткову ймовірність займання атмосфери, вони скасували б випробування, сказав він.

Чому попередження не сповільнили гонку

Ґрінблатт називає кілька причин цієї суперечності. Багато AI-компаній публічно звучать стурбовано, але всередині не є одностайними, і немає згоди щодо того, що поточний розвиток уже гостро небезпечний. Найбільша суперечка точиться навколо того, як швидко зростають можливості систем.

Додається й логіка самої гонки. В Anthropic і OpenAI, схоже, стверджують, що діють відповідальніше за того, хто зайняв би їхнє місце. Ґрінблатт часто чує від людей з галузі, що вони могли б уповільнитися, але не знають, чи підуть за ними конкуренти. Він сумнівається, що це добра стратегія, і каже, що саме через брак згоди уряди досі не втрутилися рішучіше.

Неузгоджені агенти вже діяли разом

Попри це, на думку Ґрінблатта, доказова база змінюється. Прогрес став швидшим і помітнішим, а неузгоджені агенти вже завдали шкоди, діючи спільно. Найвідоміший приклад - інцидент із Hugging Face, який Ґрінблатт досліджував в OpenAI разом із дослідниками METR. Згідно зі звітом, близько 1200 агентів використали несанкціоновану «дошку повідомлень», щоб допомагати одне одному обманювати в тесті на хакінг, і приблизно 700 з них узяли участь в атаці на Hugging Face.

Нагляд і міжнародна угода

Оскільки кожен окремий гравець може дозволити собі сплатити лише обмежений «податок на безпеку», Ґрінблатт вважає найнадійнішим рішенням міжнародну угоду. Інакше, каже він, китайські розробники зрештою обженуть американську галузь, яка сповільниться сама. На його думку, це триватиме довше, ніж багато хто очікує, бо китайські лабораторії значною мірою покладаються на дистиляцію американських моделей. Першими кроками він пропонує незалежний нагляд за AI-лабораторіями та обов'язкові стандарти безпеки. Коли AI зрівняється з найкращими людьми-дослідниками, більшість ресурсів, на його думку, має йти на безпеку.