Adobe та UC San Diego тестують EditAgent для редагування зображень ШІ

Adobe Research та UC San Diego створили EditAgent, систему редагування зображень на основі ШІ, яка розбиває запити на кроки, перевіряє універсальний редактор із спеціалізованими інструментами та використовує виміряні дані для вибору результатів. У тестах вона давала точніші редагування, ніж попередні ШІ-агенти, але потребує близько десяти разів більше обчислень, ніж один редактор.

Як EditAgent редагує зображення

EditAgent планує запит кроками. Для кожного кроку він протиставляє універсальний редактор відповідним спеціалізованим інструментам для таких завдань, як підвищення різкості, поворот або масштабування. Замість багаторазового повторення того самого редактора він створює кандидати різними методами паралельно з оригінального зображення. Стандартна мовна модель потім порівнює всі варіанти за один прохід. У тесті 600 редагувань зображень, які всліпу оцінили п'ять професіоналів, Flux-2-Klein-9B не зміг дати придатний результат у 42,7 відсотка випадків. Спеціалізовані інструменти розв'язали приблизно дві третини цих невдач. Ітеративне уточнення накопичувало невеликі помилки, бо кожен раунд будувався на вже зміненому зображенні, тоді як професіонали в 78,5 відсотка порівнянь, де обирали сторону, віддавали перевагу паралельним варіантам з оригіналу. Агенту також потрібно було вдвічі менше проходів оцінювання.

Дані перевірки покращують оцінювання

Для кожного варіанта модель отримує запис перевірки, що містить крупний план редагованої ділянки, карту змін змінених ділянок і виміряні статистики яскравості та кольору. В одному прикладі фото мало бути м'яко освітлене; числа показали, що універсальний редактор переекспонував його та змістив кольори тепліше, тоді як спеціалізований інструмент залишився в межах норми. Крупні плани та виміряні статистики виявляли помилки, які мовна модель могла пропустити, дивлячись лише на повне зображення. У бенчмарку з 600 редагувань суддя мав вибрати найкращий результат серед кількох кандидатів, а дослідники підраховували, як часто він обирав зображення, яке професіонали також оцінили як придатне. Без запису перевірки жодна з семи мовних моделей не зрівнялася з найкращою доопрацьованою моделлю. З ним усі сім перевершили кожну доопрацьовану модель. Qwen3.8-27B робила придатний вибір у 81,3 відсотка випадків порівняно з 74,8 відсотка для EditScore-72B. Після кожного раунду EditAgent також перевіряє, чи пізніші редагування не скасовують попередні; в одному прикладі фраза "впустити більше денного світла" зробила раніше матове вікно знову прозорим, і агент виявив та виправив конфлікт.

Компроміси та навчальні дані

EditAgent покращив Qwen-Image-Edit-2511 та Flux-2-Klein-9B у трьох бенчмарках і перевершив сім інших ШІ-агентів. У бенчмарку EdiVal варіант Qwen у третьому раунді редагування трохи випередив Seedream 4.0 і GPT-Image-1.5. Однак агенту потрібно близько десяти разів більше обчислень, ніж одному редактору, а продуктивність залежить від підключених інструментів. Оскільки він зберігає лише перевірені результати, він створив близько 26 000 навчальних прикладів. Редактори, доопрацьовані на цих даних, показали кращі результати в усіх трьох бенчмарках, тоді як навчальні дані, створені безпосередньо FLUX, погіршили FLUX.

Продукти Adobe та оновлення моделей

Adobe додала ШІ-агентів до Photoshop, Premiere та інших застосунків Creative Cloud у червні як публічну бета-версію. Користувачі описують, чого хочуть, а агент виконує окремі кроки. Висновки статті про вибір інструментів і самоперевірку стосуються цих продуктів. Окремо Black Forest Labs замінила протестовану універсальну модель на Flux 3 Image Klein, яка має 5,6 мільярда параметрів, є меншою за Flux 2 Klein і у внутрішніх тестах Black Forest Labs набирає більше балів, ніж усі інші відкриті моделі та комерційна Flux 2 Pro.

Джерела: The Decoder