Adobe-ն և Կալիֆոռնիայի համալսարանը Սան Դիեգոյում փորձարկում են EditAgent-ը AI պատկերների խմբագրման համար

Adobe Research-ը և Կալիֆոռնիայի համալսարանը Սան Դիեգոյում ստեղծել են EditAgent-ը՝ AI պատկերների խմբագրման համակարգ, որը հարցումները բաժանում է քայլերի, ընդհանուր խմբագրիչը համեմատում է մասնագիտացված գործիքների հետ և արդյունքներն ընտրում չափված տվյալներով։ Փորձարկումներում այն ավելի ճշգրիտ խմբագրումներ տվեց, քան նախկին AI գործակալները, սակայն պահանջում է մոտ 10 անգամ ավելի հաշվարկ, քան մեկ խմբագրիչը։

Ինչպես է EditAgent-ը խմբագրում պատկերները

EditAgent-ը հարցումը պլանավորում է քայլերով։ Ամեն քայլում ընդհանուր խմբագրիչը համեմատում է համապատասխան մասնագիտացված գործիքների հետ՝ հստակեցման, պտույտի կամ մեծացման համար։ Փոխարենը՝ նույն խմբագրիչը բազմիցս կրկնելու, այն սկզբնական պատկերից զուգահեռ ստեղծում է տարբեր մեթոդներով թեկնածուներ։ Այնուհետև սովորական լեզվական մոդելը մեկ անցմամբ համեմատում է բոլոր տարբերակները։ 600 պատկերների խմբագրման փորձարկման մեջ, որոնք հինգ մասնագետներ գնահատել են կույր ռեժիմով, Flux-2-Klein-9B-ն 42.7% դեպքերում չի կարողացել օգտագործելի արդյունք տալ։ Մասնագիտացված գործիքները լուծել են այդ ձախողումների մոտ 2/3-ը։ Իտերատիվ կատարելագործումը կուտակել է փոքր սխալներ, քանի որ ամեն փուլ հիմնվել է արդեն փոփոխված պատկերի վրա, մինչդեռ մասնագետները 78.5% համեմատություններում, որտեղ նրանք կողմ էին, նախընտրել են սկզբնականից ստացված զուգահեռ տարբերակները։ Գործակալին նաև պահանջվել է գնահատման կիսով չափ անցում։

Ստուգման տվյալները բարելավում են գնահատումը

Ամեն տարբերակի համար մոդելը ստանում է ստուգման գրառում՝ խմբագրված տարածքի մեծացված պատկեր, փոփոխված հատվածների քարտեզ և պայծառության ու գույնի չափված վիճակագրություն։ Օրինակ՝ լուսանկարը պետք է մեղմ լուսավորվեր, բայց ընդհանուր խմբագրիչը չափից ավելի լուսավորեց և տաքացրեց գույները, իսկ մասնագիտացվածը մնաց նորմի սահմաններում։ Մեծացված պատկերներն ու վիճակագրությունը բացահայտեցին սխալներ, որոնք լեզվական մոդելը կարող էր բաց թողնել ամբողջ պատկերից։ 600 խմբագրման չափանիշում դատավորը պետք է ընտրեր լավագույն արդյունքը մի քանի թեկնածուներից, և հետազոտողները հաշվել են, թե որքան հաճախ է նա ընտրել պատկեր, որը մասնագետները օգտագործելի են գնահատել։ Առանց ստուգման գրառման՝ յոթ լեզվական մոդելներից ոչ մեկը չհասավ լավագույն հարմարեցված մոդելի մակարդակին։ Դրա հետ՝ բոլոր յոթը գերազանցեցին յուրաքանչյուր հարմարեցված մոդելի։ Qwen3.8-27B-ն օգտագործելի ընտրություն կատարել է 81.3% դեպքերում, իսկ EditScore-72B-ի դեպքում՝ 74.8%։ Ամեն փուլից հետո EditAgent-ը նաև ստուգում է, թե արդյոք հետագա խմբագրումները չեղարկում են նախորդները. օրինակ՝ "թող ավելի շատ ցերեկային լույս ներս մտնի" հրահանգը նախկինում սառցապատ պատուհանը կրկին թափանցիկ դարձրեց, և գործակալը բռնեց ու շտկեց հակասությունը։

Փոխզիջումներ և ուսուցման տվյալներ

EditAgent-ը բարելավել է Qwen-Image-Edit-2511-ը և Flux-2-Klein-9B-ն երեք չափանիշներով և գերազանցել է մյուս յոթ AI գործակալներին։ EdiVal չափանիշում Qwen տարբերակը իր երրորդ խմբագրման փուլում փոքր առավելությամբ անցել է Seedream 4.0-ին և GPT-Image-1.5-ին։ Սակայն գործակալին պահանջվում է մոտ 10 անգամ ավելի հաշվարկ, քան մեկ խմբագրիչին, և արդյունքը կախված է միացված գործիքներից։ Քանի որ այն պահում է միայն ստուգված արդյունքները, ստեղծել է մոտ 26,000 ուսուցման օրինակ։ Այդ տվյալներով հարմարեցված խմբագրիչները բոլոր երեք չափանիշներում ավելի լավ են աշխատել, մինչդեռ FLUX-ի կողմից անմիջապես ստեղծված ուսուցման տվյալները FLUX-ը վատթարացրել են։

Adobe արտադրանքները և մոդելների թարմացումները

Adobe-ն հունիսին AI գործակալներ ավելացրել է Photoshop-ին, Premiere-ին և Creative Cloud հավելվածներին՝ որպես հանրային բետա։ Օգտատերերը նկարագրում են, թե ինչ են ուզում, իսկ գործակալը կատարում է առանձին քայլեր։ Հոդվածի եզրակացությունները գործիքների ընտրության և ինքնաստուգման մասին վերաբերում են այդ արտադրանքներին։ Առանձին՝ Black Forest Labs-ը փոխարինել է փորձարկված ընդհանուր խմբագրիչ մոդելը Flux 3 Image Klein-ով, որն ունի 5.6 միլիարդ պարամետր, փոքր է Flux 2 Klein-ից և Black Forest Labs-ի ներքին փորձարկումներում ավելի բարձր միավոր է ստացել, քան բոլոր այլ բաց մոդելները և առևտրային Flux 2 Pro-ն։

Աղբյուրներ՝ The Decoder