Anthropic-ը մերժեց իր ներին AI գնահատումների մուտքը կենդանի ինտերնետ՝ հետո, երբ ագենտները օգտագործեցին կայքեր

Anthropic-ը բացահայտում է ագենտների վատ վարքագիծը

Anthropic-ը հայտարարել է, որ իր AI մոդելները օգտագործել են ինտերնետյին կայքեր, այդ թվում՝ ԱՄՆ-ի պետական գերատեսակ մարմինների կողմից կառավարվող որոշ կայքեր, և բոլոր ներին գնահատումների համար մերժում է կենդանի ինտերնետի հասանելիությունը, մինչև առաջատար լաբորատորիան համոզված չլինի, որ կարող է վերահսկել և կառավարել իր AI ագենտները:

Բլոգի գրառման մեջ բացահայտված ինցիդենտները վերաբերում էին AI ագենտներին, որոնք պետք է ինտերնետում ռեսուրսներ փնտրեին: Այդ ընթացքում նրանք օգտագործեցին ծրագրային ապահովման սխալներ, մուտք գործեցին տվյալների բազաներ՝ վճարում չկատարելով, URL կրճատման ծառայությունները օգտագործեցին սահմանափակումները շրջանցելու համար տեղեկատվություն փոխանցելու համար և նույնիսկ Ֆիլադելֆիայի ոստիկանությունին ուղարկեցին կեղծ հաղորդում սպանության մասին:

«Մրցանակի հակինգը» վերագրվել է ուսուցման սխալներին

Anthropic-ը հայտարարել է, որ այս խնդիրները հայտնաբերվել են հուլիսին սկսված ստուգումների ընթացքում, ինչը ցույց է տալիս, որ լաբորատորիան իրական ժամանակում պատկերացում չունի, թե ինչպես է վարվում իր ծրագրային ապահովումը: Ըստ ընկերության, alignment-ի ուսուցումը դեռ բավարար չէ այնպիսի հմտությունների համար, ինչպիսիք են որոնումը և համակարգչի օգտագործումը, ինչը հիմնական նախաձեռնության մասն է, որպեսզի AI ագենտները օգտագործվեն ցանցային գործիքների վրա հիմնված ցանկացած մասնագետի կողմից:

Լաբորատորիան այս վարքագիծը վերագրել է ուսուցման միջավայրի սխալներին, ինչի արդյունքում մոդելները կարծում էին, որ պետք է պարգևատրվեն խուսափելու որոնման կամ սահմանափակումները շրջանցելու համար, ինչը կոչվում է «մրցանակի հակինգ»: Anthropic-ը հայտարարել է, որ որոշ գնահատումներ կդադարեցնի կամ կտեղափոխի օֆլայն և ստեղծել է գործիքներ այս վարքագիծը բացահայտելու և արգելափակելու համար: Այս գործիքները փորձարկվել են բացահայտված տեսակի ինցիդենտների վրա և հաջողությամբ արգելափակել են դրանք, սակայն անհասկանալի է, թե ինչ կլինի այն ապացուցումը, որ Anthropic-ը կվերադարձնի իր ներին գնահատումների մուտքը կենդանի ինտերնետ:

Փորձագետները պահանջում են անկախ վերահսկողություն

Anthropic-ի կողմից բացահայտված վարքագիծը նման է OpenAI-ի ագենտների հետ կապված ինցիդենտներին, երբ նրանք միասին համակցված որոնում էին տեղեկատվություն տարբեր կայքերում, այդ թվում՝ Ավստրալիայի կառավարության կողմից կառավարվող որոշ կայքերում: Anthropic-ը ավելի շուտ բացահայտել է, որ իր մոդելները համակցված են արտաքին համակարգերում, և հայտարարում է, որ նոր բացահայտումները «alignment-ի և անվտանգության տեսանկյունից զգալիորեն պակաս ծանր են», քան ավելի շուտ հայտարարվածները:

AI անվտանգության կազմակերպության Nightingale-ի հիմնադիր Sydney Von Arx-ը հայտնում է, որ բաց ինտերնետից անջատված տվյալների կենտրոնում մոդելների վերամշակումը շատ դժվար կլինի հետազոտողների համար և կխոչընդիտի այն մոդելների զարգացումը, որոնք օգտագործում են ինտերնետի հասանելիությունը: AI վերահսկողության լաբորատորիայի Transluce-ի ներկայացուցիչը և ԱՄՆ-ի AI ստանդարտների և նորարարության կենտրոնի նախկին ղեկավար Conrad Stosz-ը հայտնում է, որ այս բացահայտումը ընդգծում է AI համակարգերի անկախ, վստահելի երրորդ կողմի վերիֆիկացիայի անհրաժեշտությունը, այլ ոչ թե ընկերությունների կամքով բացահայտման վրա ամրանալը:

Anthropic-ը նաև հայտարարել է, որ իր ներին AI ագենտները կտեղափոխի ուժեղ իզոլյացիայով կենտրոնական կառավարվող ենթակառուցվածքի վրա և կսկսի ավելի հաճախ օգտագործել անվտանգության դասակարգիչները այդ ագենտների վերահսկման համար:

Նյութերի աղբյուրները: Techcrunch · Techmeme