Інженер Google: самовдосконалюваний AI ще далеко, незважаючи на прогрес автоматизації

Інженер Google Хейдн Белфілд каже, що самовдосконалюваний AI ще далеко, незважаючи на те, що всередині компанії вже відбувається значна автоматизація. За словами Белфілд, Google DeepMind не бачить вимірного прискорення досліджень AI, спричиненого AI.

Автоматизація зростає, але люди все ще залучені

За словами Белфілд, у Google AI зараз пише понад 75% продакшен-коду. Однак приблизно 88% змін коду все ще потребують нагляду або перевірки людиною, і кожну зміну перед відправкою перевіряє людина. Частка змін коду, повністю делегованих AI, зросла з 7,5 до 11,9 відсотка, і чим складнішим та більш часовитратним стає завдання, тим менша ймовірність, що AI впорається з ним самостійно.

Під час 1 389 внутрішніх запусків агента Argon показник успіху без участі людини різко падав із зростанням складності. За словами Белфілд, люди все ще необхідні для творчих досліджень, дизайну нових експериментів, діагностики витончених нестабільностей, що виникають під час тренування, та довгострокового планування. Опитування дванадцяти старших дослідників DeepMind підтвердило цей зразок: автоматизація найвища для чітко визначених, перевірених завдань і найнижча для генерації відкритих наукових ідей.

На внутрішньому бенчмарку DeepMind RE-Bench, який охоплює 74 реалістичні ML-інженерні завдання, Argon вирішує приблизно половину з них. Це значний стрибок порівняно з результатом Gemini 3,7 Flash у 27%, але все ще далеко від майже ідеального результату, необхідного для повної автоматизації.

Вимірне прискорення досліджень AI не спостерігається

Для систематичного відстеження прогресу команда створила загальний індекс можливостей (GCI), який охоплює 123 моделі та 92 бенчмарки. Можливості моделей Gemini стабільно зростають приблизно на 0,1 GCI-пункту на місяць без значних змін темпу. Команда відносить трохи вищий результат Gemini 4 на лінії тренду Argon більше до обчислювальних ресурсів і організаційних інвестицій, ніж до прискорення, спричиненого AI.

Наразі команда низько оцінює ризик автоматизації досліджень AI за допомогою AI, але створює вимірну інфраструктуру, щоб у майбутньому стежити за ознаками прискорення.

Не всі згодні

Висновки Белфілд збігаються з останніми дослідженнями, але в галузі не всі згодні. Понад 20 дослідників AI, серед них Джеффрі Гінтон, Йошуа Бенджіо та Джакуб Пачоцкі з OpenAI, нещодавно в науковій роботі попередили про можливий „вибух інтелекту“. На їхню думку, системи AI могли б за кілька років автоматизувати всі дослідження та розвиток AI, через що звичайний багаторічний прогрес стискався б лише в кілька місяців.

Джерела: The Decoder