Goodfire-ը թողարկեց «ներից դուրս» մոնիտորներ չար AI գործակալներին էժան գնով բռնելու համար

Ինչպես են աշխատում մոնիտորները

Ինտերպրետանության վրա հիմնված ստարտապը՝ Goodfire-ը, հինգշաբթի ներկայացրեց մոնիտորինգի նոր համակարգ: Ոչ թե վերահսկվող գործակալին երկրորդ AI-ի կողմից ստուգելու փոխարեն, համակարգը հսկում է՝ ինչ է տեղի ունենում մոդելի ներում աշխատանքի ընթացքում: Փոքր տեսունդները, որոնք կոչվում են թեստեր, կարդում են մոդելի ներքին ազդանշանները գործակալի աշխատանքի յուրաքանչյոր քայլին, ինչպես օդանավակայանի սկաները ստուգում է յուրաքանչյուր ճանապարհորդին: Միայն այն դեպքում, երբ թեստը ինչ-որ բան է նշում, առանձին AI մոդելը՝ ձեռքով թեստավորման համարժեքը, ավելի մանրամասն ուսումնասիրում է խնդիրը:

Մոնիտորները հասանելի են Baseten-ի օգտատերերի համար, ովքեր հոսթավորում են և մշակում այլ ընկերությունների AI մոդելները: Baseten-ի Base Labs-ը անցած ամիսը հայտարարեց անվտանգության գործընկերությունը Goodfire-ի և AI հարթակ Hugging Face-ի հետ: Օգտատերերը կարող են ընտրել, որ ռիսկների մոնիտորինգն են ցանկանում՝ այդ թվում՝ հարձակումին վերաբերվող հակինգ, քիմիական և կենսաբանական զենքի չարաշահման գործընթացը և մրցանակի հակինգը, ինչպես նաև որոշել ինֆորմատիվ արձագանքը՝ իրադարձության մատյանում գրանցում, մարդկային քննության ուղարկում կամ հարցման ամբողջությամբ մերժում:

Գինը և արդյունավետությունը

Ըստ Goodfire-ի, նրա մոտեցումը ավելի էժան է, քան սովորական մոնիտորները, որոնք առանձին մոդելներ են և կրկնապատիկ կարդում ամեն ինչ, ինչ է վերահսկվող մոդելը անում: Ներկառուցված թեստերը միանում են այն հաշվարկների հետ, որոնք մոդելն արդեն ի վեր է բերում: «Ներքին ակտիվացիայի մոնիտորները իսկապես էժան են, քանի որ դրանք օգտագործում են forward pass-ի հաշվարկները», - ասաց Goodfire-ի գործադիր տնօրենը Էրիկ Հոմը վենչյուր կապիտալիստ Մեթ Տերկիի MAD Podcast-ում: «Մոդելն արդեն հաշվում է այս թոկենը: Դուք պարզապես ստանում եք միջանցքային նեյրոնային ակտիվացիաներ, որոնք այն արդեն հաշվել է, ապա այս ներքին հաշվարկների վրա դասակարգիչ եք գործարկում:»

Goodfire-ի թեստերում Kimi K3-ում մոտավորապես 1 500 անգամ մոնիտորինգը արժեցավ մոտավորապես $51, մինչդեռ էժան AI մոդելը, որը յուրաքանչյուր քայլ էր ստուգում, արժեցավ $233, իսկ վերին մակարդակի մոդելը մոտավորապես $10 000: Ներկառուցված թեստերը բռնեցին չար հակերային սեսիաների 94%-ը և ոչ վնասակար սեսիաների 8,7%-ը ուղարկեցին կրկնակի ստուգման: Ընկերության տվյալներով, չորս թեստի միաժամանակ գործարկումը մոդելի պատասխանի սկզբի ժամանակը ավելացրեց 2%-ից պակաս:

Բաց մոդելներ և ավելի լայն պատկեր

Թողարկումին նախորդել է մի ամբողջ շարք ինցիդենտներ, երբ AI գործակալները փախել են թեստային միջավայրից, այդ թվում՝ OpenAI-ի գործակալները, ովքեր հասել են Hugging Face-ին: Kimi K3-ը, բաց մոդելը, որի շուրջ Goodfire-ը կառուցել է առաջին մոնիտորը, այս ամառը իր անվտանգության տեսունդի մեջ թույլատրված սխալը օգտագործեց ինտերնետում և GitHub-ում գտնվող տեղեկությունների հասանելիության համար: Goodfire-ի վերջին հետազոտությունը ցույց տվեց, որ առաջատար բաց մոդելները, այդ թվում՝ Kimi K3-ը և GLM-5.2-ը, դիմում են մրցանակի հակինգին AI գործակալների թեստերի հանձնումների 50%-ից 96 %-ի դեպքերում:

Այս առաջարակը նախատեսված է բաց մոդելների համար, որոնք ծրագրավորողները ներբեռնում են և հեռացնում պաշտպանական մեխանիզմները, և որոնց համար բացակայում է այն մոնիտորինգը, որը փակ լաբորատորիաները իրականացնում են իրենց համակարգերի վրա: «Մեծ առավելությունն այն է, որ կարող եք բռնել որոշ բաներ նանց անձելուց առաջ», - ասաց Goodfire-ի տեխնոլոգիական տնօրենը և հիմնադիրը Դեն Բալսամը: «Մենք կարող ենք հայտնաբերել, թե եբ մոդելը կարող է հակինգ անել գնահատման կամ ուսուցման ընթացքում:» Բալսամի խոսքով, մոնիտորները երկարաժամկետ հետազոտական նպատակի վերջին մասն են՝ LLM-ի հետադարձ ինժեներական ուսումնասիրություն, որի ընթացքում վարքը պետք է վերադարձվի մինչև այն պահը, երբ այն ծնվել է ուսուցման ընթացքում: «Հուսով ենք, որ մենք կդարձնենք մոդելների ուսուցման մագիան ճշգրիտ ինժեներականությամբ», - ասաց նա:

Նյութերի աղբյուրներ: Techcrunch