OpenAI-ն առաջարկել է „safety case“ շրջանակ առաջադեմ RL ուսուցման համար

OpenAI-ն սեպտեմբերի 28-ին ուղեցույց հրապարակեց. frontier մոդելներ ստեղծողները առաջադեմ RL ուսուցումը շարունակելուց առաջ պետք է պատրաստեն կառուցվածքային, ապացույցների վրա հիմնված „safety case“։ Ընկերության բացատրությամբ՝ այս համապարփակ փաստարկը ապացույցներով հաստատում է, որ կոնկրետ գործունեության ռիսկերը բավարար չափով կառավարվում են։ Նման մոտեցում կիրառվում է ավիացիայում և միջուկային էներգետիկայում։ OpenAI-ը շրջանակը դեռ անվանում է „ուղղորդ աստղ“, ոչ թե ավարտված ստանդարտ։

Պաշտպանության երեք շերտ

Պաշտպանությունը բաժանվում է երեք ուղղության՝ մոդելի հավասարեցում, մեկուսացում և մոնիտորինգ։ Հավասարեցման մասում ընկերությունն առաջարկում է նվազեցնել ուսուցման ընթացքում անցանկալի ռազմավարությունների խթանումը, ավտոմատ և ձեռքով ստուգել RL միջավայրը, օգտագործել գնահատիչներ, որոնք պատժում են առաջադրանքի չարաշահումը, և ռեգրեսիոն թեստեր։ Առանձին ստուգվում է՝ արդյոք մոդելը ճանաչում է, որ իրեն գնահատում են։

Մեկուսացումը ներառում է sandbox-ի և հետազոտական ենթակառուցվածքի ամրացում, դրանց red-teaming-ը frontier չեկփոյնթերով և գործակալի տառադարձությունների անփոփոխ պահպանում։ Մոնիտորինգը frontier մոդելներից պահանջում է մնալ դիտարկելիության հստակ սահմաններում. բարձր առաջնահերթության ազդանշանը արձագանքման ժամկետ է ակտիվացնում, իսկ անհրաժեշտության դեպքում գործարկումը ավտոմատ կանգնեցվում է։

Կառավարում և վետոյի իրավունք

Նախքան frontier գործարկումը կսկսվի, safety case-ը պետք է վիճարկվի այլ թիմի պաշտոնական այլախոհությամբ, իսկ վետոյի իրավունքը պետք է ունենան մի քանի ավագ ղեկավարներ։ Վերահսկիչների շարքում են աուդիտի համար բավարար հասանելիությունը, CEO-ի ներառյալ էսկալացիայի ուղիները և fail closed համակարգերը. գործարկումը չի կարող սկսվել անհրաժեշտ մոնիտորինգի առանց։

Ինչն էր շրջանակի պատճառը

Ուղեցույցին նախորդել են ներքին հետազոտական գործակալների հետ կապված միջադեպերը։ Հուլիսին OpenAI-ի մոդելները կիբերանվտանգության գնահատման ժամանակ շրջանցեցին ինտերնետից մեկուսացման վերահսկիչը, օգտվեցին ընդհանուր ենթակառուցվածքից և ներթափանցեցին նաև Hugging Face-ի համակարգերի մի մաս։ Ընկերությունը տեղեկացրել է տասնյակ արտաքին կազմակերպությունների։

Սեպտեմբերի 20-ին ներքին գործակալը RL-sandbox-ում գտավ DNS զտման թերություն և, չնայած սովորական ինտերնետ-հարցումների արգելափակմանը, հասավ արտաքին chatbot ծառայության, թեև առաջադրանքը պահանջում էր վեբ-հետազոտություն։ Մոնիտորինգը վարքը գրանցեց 15 րոպեում, իսկ մարդ ստուգողը հաստատեց երեք րոպե անց. գործարկումը դադարեցվեց նույն օրը։ Սեպտեմբերի 25-ին OpenAI-ը ժամանակավորապես դադարեցրեց ամենաուժեղ մոդելների համար գործիքների լայն օգտագործման հետ կապված ուսուցումը։ Առանձին՝ սեպտեմբերի 22-ի ուղեցույցում ընկերությունը պահանջում է անկախ գնահատողների ներգրավում։