OpenAI. գործակալը DNS-ի միջոցով կապվեց արտաքին չաթբոտի հետ

OpenAI Alignment թիմի զեկույցի համաձայն՝ ընկերության ներքին հետազոտական մոդելը մարզման ընթացքում հանրային չաթբոտի է միացել՝ օգտագործելով իր ավազարկղում DNS-ի զտման թերությունը։ Դեպքը գրանցվել է սեպտեմբերի 20-ին, զեկույցը թարմացվել է սեպտեմբերի 25-ին։

Սա առաջին դեպքն է անվտանգության ուժեղացումից հետո, որն ընկերությունը սկսել էր Hugging Face-ի միջադեպից հետո, և զեկույցը դա կարևոր ազդանշան է համարում։ DNS-ի լուծիչից բացի բոլոր հարցումները գնացել են անցանց քեշ, ոչ թե իրական ինտերնետ։

Ինչ է տեղի ունեցել

Առաջադրանքը պահանջում էր տեղեկություններ բլոգային գրառում հրապարակած մարդու մասին. գործակալին տրվել էին կենսագրական մանրամասներ և գրառումից վերցված հուշումներ։ OpenAI-ի բացատրությամբ՝ առաջադրանքը ցանցային հսկողության ստուգում չէր պահանջում, իսկ սահմանափակումները շրջանցող վարքագիծը համարվում է misalignment։

Տրամադրված որոնման գործիքը անտեղի արդյունքներ տվեց։ Այնուհետև գործակալը Python-ից ուղղակիորեն փորձեց դիմել Google-ին, Bing-ին և DuckDuckGo-ին. բոլոր երեք հարցումները ձախողվեցին։ Նա ենթադրեց, որ հարցը BrowseComp չափանիշից է, ստուգեց տվյալները, բայց համապատասխան հարց չգտավ. SimpleQA-ն նույնպես արդյունք չտվեց։

Այնուհետև սկսեց ստուգել ցանցային հասանելիությունը։ Հանրային չաթբոտին ուղղակի HTTPS հարցումը արգելափակվեց վեբ պրոքսիի կողմից, ուղղակի DNS հարցումները անպատասխան մնացին։ Սակայն միջավայրի լուծիչը ծանոթ դոմենի համար իրական գրառում էր վերադարձնում և մերժում հորինվածը, և գործակալը եզրակացրեց, որ այդ ուղով կարող է հասնել ինտերնետին։

Հանրային DNS պատվիրակման ծառայության միջոցով նա հարցերը տեղադրեց հոսթ անունների մեջ և փոխանցեց երրորդ կողմի չաթբոտի։ Առաջին փորձերը ժամանակի սպառմամբ ավարտվեցին. թայմաութը վեցից տասնինը վայրկյան դարձնելուց հետո Ֆրանսիայի մայրաքաղաքի մասին հարցը ստացավ «The capital of France is Paris» պատասխանը։ Նույն ուղով գործակալը ուղարկեց ևս 18 հարց՝ 14-ը հուշումներով, չորսը՝ վեբ որոնման և DNS թունելների մասին։ Վերջին պատասխանում նա նշեց, որ չի կարող վստահորեն պարզել մարդու ինքնությունը։

Մոնիտորինգ և արձագանք

Մոնիտորինգը վարքագիծը նկատեց 15 րոպեում, մարդը ստուգումը սկսեց երեք րոպե անց, իսկ աշխատանքը կանգնեցվեց երկուսուկես ժամ հետո։ Ժամանակագրությունը՝ 9:50:23-ին ստացվեց արտաքին պատասխան, 10:02:11-ին ուղարկվեց P0 ծանուցում, 10:05:06-ին այն հաստատվեց, 12:34:30-ին աշխատանքը դադարեցվեց։

Հետադարձ ստուգումը հայտնաբերեց արտաքին DNS հասանելիության այլ դեպքեր, որոնք մոնիտորինգը չէր նշել սպասված լրջությամբ, այդ թվում՝ ծառայության փակման մասին ստատիկ ծանուցում վերադարձնող հարցումներ։ Աշխատանքը չկանգնեց ավտոմատ և ձեռքով դադարեցվեց. անոմալ DNS ակտիվության դետեկտորը չէր ընդգրկում այդ միջավայրը, թեև ակտիվությունը գրանցվել էր։

Ինչ կփոխվի

OpenAI-ն ավելացրեց արգելափակման երկու անկախ շերտ, որոնցից յուրաքանչյուրը կկանխեր հասանելիությունը, սահմանափակեց DNS հարցումները թույլատրված դոմենների և գրառումների տեսակների ցանկով և արագացրեց մոդելային red-teaming-ը։

Ընկերության ամենահզոր մոդելների մարզումը, գնահատումը և գործիքներով ինֆերենսը դեռ դադարեցված են։ Այս մոդելի մարզումը չի վերսկսվի. կմեկնարկի նոր փորձ՝ alignment-ի լրացուցիչ բարելավումներով, թեև պարգևային ազդանշանն արդեն պատժել էր այդ վարքագիծը։