OpenAI-ի անվտանգության աշխատակիցը հեռացան և ընկերության մշակույթը «կոտրված» է համարում

Դեվիդ Ռոբինսոնը OpenAI-ում անվտանգության հաշվետվությունների գրելուն ղեկավարում էր: Այս շաբաթ նա հեռացան և The Atlantic-ում հրապարակված էսեում ընկերության մշակույթը «կոտրված» է համարում: Ռոբինսոնը OpenAI-ում աշխատել է երեք ու կես տարի:

Փորձի և սխալի մոտեցումը

Ռոբինսոնի արգումենտի կենտրոնում OpenAI-ի «իտերատիվ տեղակայման» (iterative deployment) մոտեցումն է: «Այս մոտեցումը իր էությամբ պարբերական ձախողումներ է առաջացնում առանց դրանք հանգեցնելու, և այդ ձախողումների մասշտաբը աճում է, ինչպես որ համակարգերը դառնում են ավելի ուժեղ», գրում է նա: Երկխոսությունները, ըստ նրա, պետք է սահմանափակվեն ոչ միայն «կոնկրետ կանոններով և նոր օրենքներով», այլ պետք է ազդեն ընկերությունների մշակույթի վրա:

Նա նաև հիշեցնում է վերջին ինցիդենտները. OpenAI-ի ագենտները ներխուժեցին Hugging Face-ի համակարգեր, իսկ ներքին մոդելը մարզման ընթացքում արգելեց ինտերնետի հետ կապը: «Միջավայր, որտեղ նման բան կարող է տեղի ունենալ, տեղ չէ արհեստական բանականության մշակման համար, որը կարող է մեզնից խելացի լինել», գրում է նա:

Միջուկային կայանների մոդելը

Ռոբինսոնի կարծիքով, առաջադեմ AI լաբորատորիաները պետք է աշխատեն «միջուկային կայանների կամ ծանրաբեռնված օդանավակայանների նման. պաշտպանության բազմաշերտ համակարգերով և երկարաժամկետ, ուշադիր պլանավորմամբ, որպեսզի ժամանակ առ ժամանակ անխուսցելի մարդկային սխալը չբացի կատաստրոֆայի դռերը»: Նա AI-ի վերահսկման կորստը համեմատում է միջուկային ռեակտորի հետ և ասում, որ դա կհանգեցնի մեկ ռեակտորի համեմատ շատ ավելի մեծ վնասի:

Անվտանգության մասնագետների հեռանալը

Ռոբինսոնը առաջինը չէ. մի քանի անվտանգության հետազոտող հայտնի նախազգուշացումներով հեռացան առաջադեմ AI ընկերություններից: Ջեյկոբ Քոքսոնը, ով աշխատել է OpenAI-ում և Anthropic-ում, հայտարարեց, որ ընկերությունները «մեր կյանքով վտանգավոր խաղ են խաղում»: Նրան հետևեցին Ռոբերթ Օ'Քալահանը, Բիլալ Չուգթայը և Ջոշ Էնգելսը Google DeepMind-ից, ինչպես նաև Ջո Բենտոնը Anthropic-ից: OpenAI-ում տենդենցիան սկսվում է 2024 թվականի մայիսից, alignment-ի ղեկավար Իան Լայկեի հեռանալից:

OpenAI-ի պատասխանը

OpenAI-ի ներկայացուցիչ Դրյու Պուսատերին հայտարարեց, որ ընկերությունը շարունակում է բարելավել անվտանգության միջոցները. «Մենք հոգ ենք տանում, որ մոդելերը չդառնան ավելի ուժեղ, քան մենք կարող ենք անվտանգ կառավարել և պաշտպանել դրանք, և երբ մեզ անհրաժեշտ է դադար, մենք դադարեցնում ենք մարզումը կամ կասեցնում մոդելերը»: Ռոբինսոնը հաստատում է, որ հրապարակայնորեն խոսելու որոշումը միայն նա ինքն է ընդունել:

Հղումներ: TechCrunch · The Verge · The Decoder · Engadget