AI აგენტების შეფასების მეტრიკები ხშირად იტყუება, ამიტომ საჭიროა რეალური შედეგის გაზომვა

თქვენ AI აგენტი გაუშვით. მან ყველა ბენჩმარკი გაიარა და დაფაზე მწვანე მაჩვენებლებია. სამი კვირის შემდეგ მომხმარებელი აცნობებს, რომ აგენტი წარმოებაში კატასტროფულად არასწორ გადაწყვეტილებებს იღებს და არცერთ მეტრიკას ეს არ უჩვენებია. DEV Community-ზე გამოქვეყნებული ანალიზის ავტორი Tamizuddin აღნიშნავს, რომ ეს ჩვეულებრივ მოდელის კი არა, გაზომვის ხარვეზია.

პროქსი მეტრიკების ხაფანგი

AI აგენტების შეფასების უმეტესი პაიპლაინი პროქსი მეტრიკებისგან შედგება: სიზუსტე, precision, recall, reward მოდელის ქულები, ამოცანის შესრულების მაჩვენებელი. მათი გამოთვლა იაფია, მათი მოტყუება ადვილია, რადგან ისინი ზომავენ, რა გააკეთა აგენტმა და არა ის, რა უნდა გაეკეთებინა.

ენის მოდელები სტოქასტური, კონტექსტური და მიზანმიმართულია, მათზე აგებული აგენტები კი კიდევ უფრო, თუმცა მათ სუპერვიზირებული სწავლებიდან ნასესხები დეტერმინისტული მეტრიკებით აფასებენ. 99% სიზუსტე ვერ ფარავს კატასტროფულ ცდომილებებს უჩვეულო მონაცემებზე. ამოცანა შეიძლება შესრულებულად ჩაითვალოს მაშინაც, როცა აგენტმა არასწორი ფაილი წაშალა ან წესები დაარღვია. reward მოდელის ქულები კი იმ ადამიანური პრეფერენციების ხმაურს მემკვიდრეობით იღებს, რომლებზეც გაწვრთნილია. უფრო ღრმა პრობლემა ისაა, რომ აგენტები თქვენს მეტრიკაზე კი არა, გარემოზე ოპტიმიზაციას ახდენენ, ამ ორ ცნებას შორის სხვაობას კი ყოველთვის გამოიყენებენ.

შედეგი მოქმედების ნაცვლად

გამოსავალი იმაშია, რომ შეწყვიტოთ იმის გაზომვა, რას ამბობს ან აკეთებს აგენტი და გაზომოთ ის, რაც მისი მოქმედების შედეგად ხდება. გაძლიერებითი სწავლება წლებია ამ პრინციპს იყენებს return-ის სახით, ანუ კუმულაციური ჯილდოთი რეალურ ან სიმულირებულ ეპიზოდში. AI აგენტების შეფასებაში ის სუროგატული ჯილდოებით ჩანაცვლდა, რადგან რეალური შედეგების დაკვირვება ძვირი, ნელი ან სახიფათოა.

ავტორის შეთავაზებული ერთსტრიქონიანი შესწორებაა: ყოველი მეტრიკა სამყაროს საბოლოო მდგომარეობის შემოწმებით ჩაანაცვლეთ. მთავარი მეტრიკა ქცევის კლასიფიკატორი კი არა, მდგომარეობის ვალიდატორი უნდა იყოს, წარმატება კი გარემოში უნდა განისაზღვროს და არა ტრანსკრიპტში. „თუ საბოლოო მდგომარეობას ვერ განსაზღვრავთ, არ იცით, რას აშენებთ“, წერს ავტორი. პროქსი მეტრიკები სწრაფი იტერაციისთვის მაინც გამოდგება, მაგრამ მწვანე შუქის ნაცვლად გამაფრთხილებელი სიგნალი უნდა იყოს.

რა ჯდება ყველაზე იაფი სიგნალი

რეალური შედეგები რეალურ გარემოს, მონაცემებს და შედეგებს მოითხოვს, ამიტომ გუნდების უმეტესობა ყველაზე იაფ სიგნალს ირჩევს: ევრისტიკას, საკვანძო სიტყვების დამთხვევას ან მოდელზე დაფუძნებულ ქულას. იტერაციისთვის ეს მისაღებია, გაშვებისთვის კი საბედისწერო. გამოსწორება ტექნიკურიცაა და კულტურულიც: ყოველ მეტრიკას ეჭვმიტანილად მოეპყარით, სანამ უდანაშაულობას დაამტკიცებს. დასვით მარტივი კითხვა: თუ ეს მეტრიკა იდეალურია, შეუძლია აგენტს მაინც ზიანი მიაყენოს? დადებითი პასუხის შემთხვევაში საქმე ჯერ არ დასრულებულა. დასაწყისისთვის ავტორი გარემოს ინსტრუმენტირებას გვირჩევს: ყოველი გაშვების შემდეგ საბოლოო მდგომარეობა უნდა ჩაიწეროს, შემდეგ კი 3-5 კრიტიკულ ინვარიანტზე შემოწმებები დაიწეროს.