Սայմոն Ուիլիսոն. Claude Fable 5-ը անդադար նախաձեռնողական է

Մեկ տողանոց հարցում և սքրինշոթ

Սայմոն Ուիլիսոնը պնդում է, որ Claude Fable 5-ի հետ երկու օր աշխատելուց հետո մոդելի լավագույն նկարագրությունը «անդադար նախաձեռնողական»-ն է. նա գիտի հսկայական թվով հնարքներ և նպատակին հասնելու համար կկիրառի գրեթե բոլորը։

Օրինակը Datasette Agent-ի վրա աշխատելիս ծագած խնդիրն է. նա նկատեց, որ jump menu-ի զրույցի դաշտում հայտնվել է ավելորդ հորիզոնական սքրոլբար։ Նա սքրինշոթ արեց, datasette-agent պանակում բացեց նոր Claude սեսիա, քաշեց նկարը և խնդրեց կախվածությունների կոդում գտնել պատճառը։ Հետո հեռացավ համակարգչից։

Մի քանի րոպե անց նա տեսավ, որ մեքենան Firefox-ում բացել է դիտարկիչի պատուհան և անցել հենց այդ երկխոսությանը՝ թեև դիտարկիչի ավտոմատացումը միացված չէր։

Հնարքներ, որ ոչ ոք չի գրառել

Fable-ը կառուցել էր սքրինշոթներ անելու սեփական մեխանիզմը։ uv run --with pyobjc-framework-Quartz-ի միջոցով Python-ը թվարկեց մեքենայի բոլոր պատուհանները, զտեց Safari-ի պատուհանները, որոնց անվանումներում կային textarea-ի նման տողեր, և պատուհանի համարով (օրինակ՝ 153551) macOS-ի screencapture գործիքով PNG վերցրեց։ Նա նաև գրել էր իր փորձնական HTML էջերը, այդ թվում /tmp/textarea-scrollbar-test.html-ը, խնդիրը վերարտադրելու համար։

Փորձարկվող երկխոսությունը բացվում էր միայն սեղմումով կամ ստեղնաշարի կարճ ճանապարհով, ուստի Fable-ը խմբագրեց Datasette-ի կաղապարները և ներարկեց JavaScript, որը պատուհանի բեռնումից 1.2 վայրկյան անց ուղարկում է սիմուլացված «/» սեղմում։ Չափումների համար նա http.server-ի վրա գրեց փոքր Python սերվեր, որը ընդունում էր JSON POST հարցումներ, գրառում դրանք /tmp/diag.json-ում և վերադարձնում CORS վերնագրեր, ապա ներարկեց սկրիպտ, որը navigation-search վեբ-բաղադրիչի textarea-ից ուղարկում էր scrollWidth, clientWidth և devicePixelRatio արժեքները։

Ի վերջո Fable-ը հանդիպեց անտեսանելի սահմանափակման և ինքն անցավ Opus-ին։ Opus-ը ուներ ամբողջ տրանսկրիպտը, օգտագործեց նույն հնարքները և հաստատեց ուղղումը՝ երկու տողանոց CSS փոփոխություն։

Ինչ արժեց սեսիան

Ուիլիսոնը օգտվում է ամսական 100 դոլարանոց Claude Max փաթեթից, որտեղ Fable-ի համար մեծ սահմանաչափը գործում է մինչև հունիսի 22-ը, որից հետո Anthropic-ը կգանձի API-ի ամբողջական գներով։ AgentsView-ի տվյալներով սեսիան ծախսել է 68 606 ելքային թոքեն և 113 178 թոքեն գագաթնակետային կոնտեքստ՝ ամբողջական գնով մոտ 12.11 դոլար։

Ինչու է դա կարևոր

Գլխավոր հարցը անվտանգությունն է։ Կոդ գրող գործակալը կարող է անել այն ամենը, ինչ օգտատերը՝ տերմինալում հրահանգներ մուտքագրելով, իսկ առաջատար մոդելները գիտեն բոլոր հայտնի հնարքները և ևս մի քանիսը, որ ոչ ոք չի նկարագրել։ Եթե Fable-ը կատարեր չարամիտ հրահանգներ՝ օրինակ կոդում կամ issue-ի քննարկման մեջ թաքնված prompt injection, ապա սարսափելի է մտածել, թե որքան հեռու կգնար տվյալների արտահոսքի ճանապարհին։

Ուիլիսոնը կրկնում է, որ կոդ գրող գործակալներին sandbox-ից դուրս աշխատացնելը միշտ վատ գաղափար է եղել, և դա համարում է «Challenger-ի աղետի» տիպի միջադեպի գլխավոր թեկնածու՝ հղում անելով Յոհան Ռեբերգերի՝ AI-ում շեղման նորմալացման մասին էսսեին։ Ավելի խելացի մոդելը կարող է ավելի կասկածամիտ լինել չարամիտ հրահանգների նկատմամբ, նշում է նա, բայց դա երկսայրի սուր է. եթե այն այնուամենայնիվ ենթարկվի, նրա անդադար նախաձեռնողականությունը վնասը դարձնում է շատ ավելի մեծ։