CloudOpsBench-ը գտնում է, որ դատողությունը AI-ի ամպային գործողություններում ամենամեծ խոչընդոտն է
CloudOpsBench-ը նոր բաց կոդով չափանիշ է, որը 45 AWS DevOps առաջադրանքներով փորձարկում է AI գործակալներին։ Նույնիսկ լավագույն մոդելները լուծում են միայն 60 տոկոսը, և հետազոտողները ասում են, որ դատողության սխալները պատճառ են դառնում հիմնական ձախողումների մեծ մասի համար։
CloudOpsBench-ը նոր բաց կոդով չափանիշ է, որը չափում է, թե որքան լավ են AI գործակալները կատարում ամպային միջավայրում բնորոշ DevOps առաջադրանքները։ 1.0 տարբերակը ներառում է 45 առաջադրանք AWS-ում և կառուցվել է փորձառու DevOps ինժեներների կողմից։ Նույնիսկ լավագույն մոդելները ձախողվում են շատ առաջադրանքներում, Claude Fable 5.1-ը լուծում է 60 տոկոսը, իսկ GPT-6 Astra-ն հասնում է 53 տոկոսի։
Ինչ է չափում չափանիշը
CloudOpsBench-ը ընդգրկում է այնպիսի առաջադրանքներ, ինչպիսիք են ծառայությունների շտկումը, ռեսուրսների հեռացումը, մուտքի իրավունքների սահմանափակումը, թարմացումների տարածումը և նախագծերի շահագործումից հանումը։ Բոլոր առաջադրանքները նույն կերպ են աշխատում իրական AWS ամպում և էմուլյատորում։ Նախատեսված են GCP, Azure և OCI ընդլայնումներ։
Ինչու են մոդելները ձախողվում
Ըստ Միչիգանի համալսարանի Անգ Չենի գլխավորած թիմի, հիմնական խնդիրը գիտելիքի պակասը չէ, այլ դատողությունը։ Ձախողումների մոտ 80 տոկոսը տեղի է ունենում, որովհետև գործակալները սխալ են գնահատում առաջադրանքի շրջանակը, չեն ստուգում բոլոր համապատասխան ծառայությունները կամ չափազանց շուտ են կանգ առնում։ Սխալների մոտ 20 տոկոսը սխալ գործողություններ են, որոնցից որոշները ենթակառուցվածքի համար անդառնալի հետևանքներ ունեն։ Ոչ մի մոդել չի ավարտում բոլոր առաջադրանքները։
Հասանելիություն
GitHub-ի նախագիծը լիցենզավորված է Apache 2.0 ներքո, և հասանելի է նաև մանրամասն ձախողումների վերլուծությունը։
Աղբյուրներ: The Decoder
SiTech — AI-ով հզորացված վեբ մշակում
Ստեղծում ենք արագ ու ժամանակակից կայքեր և AI-ը ներդնում իրական բիզնես գործընթացներում։ Ունե՞ք նախագիծ կամ հարց։ Ուրախ կլինենք օգնել։