Ինչու են AI գործակալների գնահատման չափանիշները մոլորեցնում

Դուք թողարկում եք AI գործակալ։ Այն անցնում է բոլոր բենչմարքները, թեստերը կանաչ են, վահանակը՝ հանգիստ։ Երեք շաբաթ անց օգտատերը հայտնում է, որ գործակալը արտադրությունում կայացնում է աղետալիորեն սխալ որոշումներ, որոնք ոչ մի չափանիշ չի նշել։ DEV Community-ում հրապարակված վերլուծության մեջ հեղինակ Tamizuddin-ը պնդում է, որ սա սովորաբար մոդելի խափանում չէ, այլ չափման խափանում։

Փոխարինիչ չափանիշների թակարդը

Գործակալների գնահատման խողովակաշարերի մեծ մասը կազմված է փոխարինիչ չափանիշներից՝ ճշգրտություն, precision, recall, reward մոդելի միավորներ, առաջադրանքի կատարման տոկոս։ Դրանք էժան են հաշվարկվում, հեշտ են շրջանցվում ու խաբվում, որովհետև չափում են, թե ինչ արեց գործակալը, այլ ոչ թե ինչ պետք է աներ։

Լեզվական մոդելները ստոխաստիկ են, համատեքստային ու նպատակաուղղված, իսկ դրանց վրա կառուցված գործակալները՝ առավել ևս, այնուամենայնիվ դրանք գնահատվում են վերահսկվող ուսուցումից փոխառված դետերմինիստական չափանիշներով։ 99% ճշգրտությունը տվյալների վրա չի խանգարում աղետալի սխալներին անծանոթ մուտքերի դեպքում։ Առաջադրանքը կարող է «ավարտված» համարվել նույնիսկ երբ գործակալը ջնջել է սխալ ֆայլը կամ խախտել քաղաքականությունը։ reward մոդելի միավորները ժառանգում են մարդկային նախասիրությունների աղմուկն ու կողմնակալությունը։ Ավելի խորը խնդիրն այն է, որ գործակալները օպտիմիզացնում են ոչ թե ձեր չափանիշը, այլ միջավայրը, և այդ ճեղքը միշտ կօգտագործվի։

Չափեք արդյունքը, ոչ թե ելքը

Այլընտրանքը գործակալի ասածն ու արածը չափելը դադարեցնելն է ու դրա հետևանքով եղածը չափելը։ Ամրապնդող ուսուցման մեջ այս ստանդարտը վաղուց կա՝ return-ը, այսինքն կուտակային պարգևը իրական կամ մոդելավորված դրվագում։ Գործակալների գնահատման մեջ այն փոխարինվեց փոխարինիչ պարգևներով, քանի որ իրական արդյունքները թանկ են, դանդաղ կամ դիտարկելու համար անվտանգ չեն։

Առաջարկվող ուղղումը մեկ տող է՝ ամեն չափանիշ փոխարինել աշխարհի վերջնական վիճակի ստուգմամբ։ Հիմնական չափանիշը պետք է լինի վիճակի վալիդատոր, ոչ թե վարքի դասակարգիչ, իսկ հաջողությունը պետք է սահմանվի միջավայրում, ոչ թե տրանսկրիպտում։ «Եթե չեք կարող սահմանել վերջնական վիճակը, չգիտեք՝ ինչ եք կառուցում», գրում է հեղինակը։ Փոխարինիչ չափանիշները դեռ պիտանի են արագ կրկնության համար, բայց պետք է լինեն կարմիր դրոշ, ոչ թե կանաչ լույս։

Ամենաէժան ազդանշանի գինը

Իրական արդյունքները պահանջում են իրական միջավայրեր, տվյալներ ու հետևանքներ, դրա համար էլ թիմերի մեծ մասն ընտրում է էվրիստիկա, հիմնաբառերի համադրում կամ մոդելային միավոր։ Կրկնության համար դա ընդունելի է, թողարկման համար՝ ճակատագրական։ Ուղղումը տեխնիկական է այնքան, որքան մշակութային՝ յուրաքանչյուր չափանիշի վերաբերվեք որպես կասկածյալի, քանի դեռ հակառակը ապացուցված չէ, և հարցրեք՝ եթե այս չափանիշը կատարյալ է, կարո՞ղ է գործակալը դեռ վնաս հասցնել։ Սկսելու համար խորհուրդ է տրվում գործիքավորել միջավայրը, գրանցել վերջնական վիճակը ամեն աշխատանքից հետո և ստուգումներ գրել 3-5 կրիտիկական ինվարիանտների համար։