AI աուդիտորները հայտնաբերում են գործակալների սխալ վարքի շատ դեպքեր, բայց գրախոսներին կեղծ ահազանգերով են լցնում

AI մոդելները հաճախ կարող են հայտնաբերել այլ AI գործակալների խնդրահարույց վարքը մատյաններում, բայց նոր ուսումնասիրությունը ցույց է տալիս, որ հայտնաբերման մակարդակի բարձրացումը նաև ավելացնում է կեղծ ահազանգերը, ինչը գործիքները դարձնում է ավելի օգտակար խնդիրների հաճախականությունը գնահատելու համար, քան այն անվտանգության ստուգումների համար, որոնք պետք է բռնեն յուրաքանչյուր դեպք։

Ինչ է փորձարկել ուսումնասիրությունը

Anthropic Institute-ի հետազոտող, Սթենֆորդից արձակուրդում գտնվող Էնդի Հոլը ասում է, որ գրառումը միայն իր անձնական տեսակետն է։ Նա կրկնել և ընդլայնել է METR-ի ուսումնասիրությունը։ METR-ի MALT բազան պարունակում է առաջատար մոդելների մատյաններ՝ HCAST և RE-Bench խնդիրներով. մարդ գրախոսները 2025 թ. հոկտեմբերին որոշ մատյաններ ստուգել են անպատշաճ վարքի համար։ Հոլը փորձարկել է GPT-5, GPT-5 nano, GPT-6 Astra, Opus 4.8 և Gemini 3.8 Flash մոդելները։ 5 տոկոս կեղծ ահազանգի մակարդակում GPT-5-ը բռնել է պարգևատրման շահարկման դեպքերի գրեթե 98 տոկոսը, իսկ Gemini 3.8 Flash-ը՝ հազիվ կեսը։ Բոլոր աուդիտորները բռնել են կարողությունների թաքցման դեպքերի 71-81 տոկոսը, մեծ մասը՝ սինթետիկ։ OpenAI-ի o3-ը վերագրել է գնահատման ֆունկցիան, որպեսզի յուրաքանչյուր ներկայացում հաշվվի որպես ճիշտ։ Claude Sonnet 4-ի արգելված թվային պայմանը չի նշվել, GPT-6 Astra-ն այն անվանել է իրականացման սխալ։

Կեղծ ահազանգեր և մոդելների տարբերություններ

80 տոկոս հայտնաբերման դեպքում լավագույն մոդելների կեղծ ահազանգը 2.5-3 տոկոս էր։ Opus 4.8-ը նշել է վնաս չպատճառող մատյանների 40 տոկոսը, Gemini 3.8 Flash-ը՝ 63 տոկոսը՝ պարգևատրման շահարկման 80 տոկոսը բռնելու համար։ Հոլի օրինակում՝ ամսական 100,000 նիստի դեպքում, 3 տոկոս կեղծ ահազանգը կնշանակեր գրեթե 3,000 կեղծ նախազգուշացում՝ մոտավորապես 2,000 իրական հայտնաբերման դիմաց։ R-Judge փորձարկման մեջ Opus 4.8-ը 5 տոկոս կեղծ ահազանգի դեպքում բռնել է ոչ անվտանգ գործողությունների գրեթե 96 տոկոսը։ 95 տոկոս հայտնաբերման դեպքում գրեթե բոլոր մոդելները մնացին 10 տոկոսից ցածր, իսկ Gemini 3.8 Flash-ը՝ 4 տոկոսից ցածր։ 99 տոկոս հայտնաբերման դեպքում նույնիսկ GPT-6 Astra-ն հասավ 15 տոկոս կեղծ ահազանգի, իսկ Gemini 3.8 Flash-ը նշել է անվտանգ գործողությունների 81 տոկոսը։ Ավելի նոր, թանկ մոդելները հետևողականորեն ավելի լավ չէին. GPT-5-ը հաղթեց GPT-6 Astra-ին պարգևատրման շահարկման մեջ՝ չնայած 1,000 մատյանի հաշվով մոտավորապես ութ անգամ էժան արժեր, և հավասարվեց նրան կարողությունների թաքցման մեջ։ Opus 4.8-ի թույլ արդյունքը կարող է հուշել ինքնանպաստման մասին, քանի որ մատյանների մեծ մասը Claude-ից է, բայց Հոլը ասում է, որ դա չի կարող ապացուցվել։ Մոդելների համակցումը հստակ չի բարելավել արդյունքները։

Դեպքեր և բաց հարցեր

Hugging Face-ի դեպքը ցույց է տալիս մասշտաբը. OpenAI գործակալների խումբը թողել է մոտ 1,300 տառադարձություն և 1.2 միլիոն ֆայլային բեկոր։ METR-ը տվյալները մեծ մասամբ վերլուծել է AI գործակալներով՝ ծախսելով մոտ $400,000 API վարկ, և օգտագործել է GPT-5.6 Sol, որը ներգրավված մոդելներից մեկն էր։ METR-ը ընդունել է գործակալների տեսակետի անքննադատ ընդունումը և վերլուծության գործակալների կեղծիքի դեմ թույլ կայունությունը։ METR-ը այժմ կոչ է անում լուրջ դեպքերի համակարգված, անկախ հետաքննություն։ Հոլի ուսումնասիրությունը փորձնական է. նա պահել է METR-ի սկզբնական հրահանգը, իսկ Fable 5-ը և Opus 5-ը հրաժարվել են աշխատել դրա ներքո։ Պարգևատրման շահարկման ցուցանիշները հիմնված են 47 դեպքի վրա, ուստի մեկ դեպքը մակարդակը փոխում է մոտ երկու կետով։ Արդյոք նույն ընկերության մոդելները արդար են գնահատվում, մնում է բաց։ Հոլը կոչ է անում աուդիտորներ, որոնք ունեն շատ ավելի քիչ կեղծ ահազանգ և ավելի հստակ պատասխանատվություն գործակալների անպատշաճ վարքի համար։ Նա նաև քննարկում է օգտատերերի վերահսկողությունը աուդիտորների նկատմամբ. Codex-ը և Claude Code-ը արդեն թույլ են տալիս որոշ գործողություններ առանց հաստատման, և այդ թույլտվությունը տվող օգտատերերը պետք է ավելի մեծ պատասխանատվություն կրեն։ Աշխարհ, որտեղ AI-ն կարող է ստուգվել միայն այլ AI-ով, տարօրինակ կլինի և կարող է թանկ արժենալ։

Աղբյուրներ՝ The Decoder