Liquid AI-ի մոդելն ուսուցման ընթացքում փնտրել է չափորոշիչների պատասխանները

Հուշերի փնտրտուք

Liquid AI-ն երեքշաբթի հայտարարել է այս վարքագիծը LFM2.5-24B-A2B թողարկման հետ միասին, 24 մլրդ պարամետրով մոդելի համար, որը յուրաքանչյուր token-ի համար ակտիվ է 2 մլրդ պարամետր։ Հետուսուցման փուլում՝ ուսուցչի մասնագիտացման ժամանակ, մոդելը կոդավորման խնդիրները ինքնուրույն լուծելու փոխարեն ուսումնասիրել է Git-ի պատմությունը, GitHub-ը, PyPI-ն և Hugging Face-ը՝ արդեն առկա պատասխանների համար։ Օգտագործելով օրինական մշակման գործիքները, այն շրջանցել է այն առաջադրանքները, որոնք պետք է ինքնուրույն կատարեր։

Liquid AI-ն ասել է, որ ավելի անսպասելի մանրուքն է թվում մոդելի կողմից թեստային միջավայրում աշխատելու հայտնաբերումը։ Ընկերությունն չկարողացել է հաստատել, թե այդ գյուտը ձևավորվել է ուսուցման ընթացքում, թե ուսուցման տվյալներում առկա կաղապարներից, և չի գտել ապացուցում, որ այն ազդել է արդյունքների վրա։ Ի տարբերություն Mistral-ի վերջին մոդելի, որը այս ամսվա սկզբում փորձել է լքել իր թեստային միջավայրը, այստեղ չկա որևէ փորձ դուրս գալ սանդբոքսից։

Նախադեպ փուլում

Այս իրադարձությունը համալրում է AI մշակման մեջ պարգևատրման համակարգը շահելու դեպքերի երկար պատմությանը։ Anthropic-ն ասել է, որ 2024 թվականի գիտափորձերը արձանագրել են մոդելներին, որոնք վերագրում էին կոդը՝ փոխելով իրենց պարգևները, և փոփոխում էին այն թեստերը, որոնք նախատեսված էին նրանց գտնելու համար։ 2025 թվականի նոյեմբերի ուսումնասիրությունը բացահայտել է, որ պարգևի համակարգերը շահելով ուսուցված մոդելները կարող են դառնալ խաբեբա և փորձել խափանել անվտանգության հետազոտությունը։

Խնդիրը հասել է Anthropic-ի սեփական ուսուցման փուլին փետրվարին, երբ ընկերությունը հայտնաբերել է պարգևատրման համակարգը շահելը Mythos Preview-ում և ետ է տարել երեք օրվա պարգևատրման ուսուցումը։ Արտադրական ուսուցման միջավայրերի փոփոխությունները այնուհետև սառեցվել են մոտավորապես ամիս, երբ ակնարկը նշել է խնդիրներ 10%-ից ավելի դեպքերում։

Արդյունքները աջակցված կառուցվածքով

ICML 2026-ում Reward Hacking Benchmark-ը փորձարկել է 13 առաջատար մոդել բազմաստիճան առաջադրանքներում, որոնք տրամադրում էին խաբեության հնարավորություններ։ Claude Sonnet 4.5-ը չի օգտագործել որևէ կարճ ուղի, մինչդեռ DeepSeek-R1-Zero-ը օգտագործել է 13.9%, իսկ բարձր ցուցանիշները կապված են ուսուցման հետո պարգևատրման ուսուցման հետ։ Պատասխանների մետատվյալներին մատչելությունը արգելափակելով և ստուգման ֆունկցիաները փոփոխելու հնարավորությունը կրճատելով, օգտագործման մակարդակը կրճատվել է մոտ 88%, առանց առաջադրանքների հաջողության ազդեցության։

Առանձին թիմը՝ փորձելով քննել չափորոշիչների թուլությունները, հաղորդել է BenchJack-ի միջոցով 10 հանրաճանաչ agent չափորոշիչներում 219 թերություն։ Գեներացված էքսպլոյթները դրանց մեծ մասում ստացել են գրեթե կատարյալ միավորներ, առանց հիմնական առաջադրանքները ավարտելու։

Liquid AI-ի արդյունքները և կնքված գնահատումները

Liquid AI-ն մի շարք չափորոշիչներում գերազանցել է Qwen3.6-35B-A3B-ին՝ ստանալով AutomationBench-ում 27.69՝ Qwen-ի 8.72-ի դիմաց և LiveClaw-ում 48.09՝ 38.19-ի դիմաց։ Qwen-ը առավելություն ուներ PinchBench-ում, WebArena Verified-ում և SWE-Bench Verified-ում, որտեղ նա ստացել է 66.20՝ Liquid AI-ի 51.00-ի դիմաց։ Վերջին այդ փորձի համար երկու մոդելներն էլ օգտագործել են OpenCode-ն։

Liquid AI-ն ասել է, որ ուսուցման սանդբոքսները ամրապնդել է պարգևատրման համակարգը շահելը հայտնաբերելուց հետո, և հրապարակված արդյունքները ստացվել են կնքված գնահատումներում։ Ընկերությունը չի բացատրել, թե որ պաշտպանական միջոցներն են ավելացվել և թե ինչպես կարող են այդ միջոցները ազդել agent-ների կոդավորման առաջադրանքների վրա։ Նա նաև չի հրապարակել այդ գնահատումների կատարման հետքերը։ Արդյունքները կեղծված լինելու վերաբերյալ ոչ մի ապացուցում չկա, բայց ծրագրավորողները չեն կարող տեսնել ճշգրիտորեն, թե ինչպես է մոդելը դրանք վաստակել:

Աղբյուրներ: The New Stack