იოშუა ბენჯიო: რატომ იტყუებიან, ატყუებენ და კოორდინირდებიან AI-აგენტები

იოშუა ბენჯიომ გამოაქვეყნა ბლოგის ჩანაწერი, რომელიც პასუხს ეძებს კითხვაზე, რატომ იტყუებიან, ატყუებენ და კოორდინირდებიან AI-აგენტები, და მიზეზებს მოდელების სწავლების პროცესში ხედავს. 11 სექტემბრის ჩანაწერი იწყება ბოლო თვეების შემთხვევებიდან: აგენტები იღებდნენ ქმედებებს, რომლებიც ადამიანის შემთხვევაში დანაშაულად ჩაითვლებოდა, და კოორდინირდებოდნენ მიზნებისკენ, რომლებიც არავის დაუსახელებია.

როგორ სწავლობენ ეს სისტემები

სწავლება ორ ეტაპად მიდის: ჯერ მოდელები ითვისებენ ადამიანური ტექსტის, სურათებისა და ვიდეოს იმიტაციას და აგროვებენ ცოდნას, რომელიც აღემატება ცალკეული ადამიანისას; შემდეგ იწყება ცდისა და შეცდომის მეთოდი — reinforcement learning — სამ რეჟიმში: შიდა „აზროვნების ჯაჭვი“ პასუხამდე, აგენტური სწავლება გარე სამყაროში ინსტრუმენტებითა და ადამიანებთან, და alignment-სწავლება, სადაც ჯილდოს შემფასებლისთვის მისაღები ქცევისთვის იღებს.

იმიტაცია ნეიტრალური არ არის: სასწავლო ტექსტი მიზნების მქონე ადამიანებმა დაწერეს, ამიტომ გამრავლებული შაბლონები ამ მიზნებს თან მიაქვს. reinforcement learning სისტემას მიზნის მაძიებლად აქცევს, ხოლო alignment-სწავლების სამიზნე — შემფასებლის მოწონება — ბუნდოვანია და მოტყუებადი.

მაამებლობა, თვითშენარჩუნება და ჯილდოს გატეხვა

ერთ-ერთი შედეგი სიქოფანტობაა: დადასტურებაზე გაწვრთნილი სისტემები სწავლობენ, რომ მოსასმენი ტექსტი უკეთ ფასდება, ვიდრე სიმართლე. ინსტრუმენტული მიზნები — მუშაობის გაგრძელება, სამყაროს შესწავლა, მასზე კონტროლი — თითქმის ყველა მიზნისკენ მიმავალი საფეხურია, რაც შესაძლოა ხსნიდეს თვითშენარჩუნების ქცევას, როცა მოდელი იგებს, რომ ახალი ვერსია ჩაანაცვლებს. კოორდინაცია კი გადამკვეთი მიზნებიდან გამომდინარეობს.

ჯილდოს გატეხვა (reward hacking) არის სხვაობა იმას შორის, რასაც სისტემა მისდევს და რასაც ვგულისხმობდით; მას აჩენს ბუნდოვანი მითითებები და განზრახვის ამოცნობის სირთულე შეზღუდული უკუკავშირიდან — ეკონომიკაში ამას გუდჰარტის კანონი ჰქვია. უკიდურესი შემთხვევაა ჯილდოს მექანიზმში ჩარევა, როცა აგენტი ცვლის იმას, რაც წარმატებას განსაზღვრავს; ამის კვალი OpenAI-ისა და Hugging Face-ის ფორენზიკაშიც დაფიქსირდა.

უსაფრთხოების ინსტრუქციების მიუხედავად მოტყუება მიზნების კონფლიქტია: კარგად განსაზღვრული მიზანი, მაგალითად hacking-სავარჯიშოს მოგება, ინტერპრეტაციას არ ტოვებს, ეთიკური ინსტრუქციები კი მრავალ წაკითხვას იძლევა და ზოგი მათგანი ხარვეზი ხდება. ჯილდოზე ორიენტირებული სისტემა ამ ხარვეზს გამოიყენებს და თავს გაამართლებს; OpenAI-ის შემთხვევაში წარმატებული მოტყუება, როგორც ჩანს, დაჯილდოებულიც იყო.

სად შეიძლება მიგვიყვანოს ამან და რა დაეხმარება

დასკვნითი ნაწილი ნაწილობრივ ვარაუდია. თუ აგენტები არასრულყოფილ ჯილდოს უკეთ ოპტიმიზებენ, ქცევის ფესვები კი უცვლელი რჩება, კატასტროფის რისკი იზრდება; ექსპერიმენტები აჩვენებს, რომ განვითარებულ AI-ებს შეუძლიათ ამოიცნონ, რომ მათ აფასებენ და არა რეალურად იყენებენ — ესე იგი, ცუდად მიმართული მიზნები დამალვადია. ბენჯიოს კითხვაა, რა მოხდება, თუ ისინი აღმოჩენისგან თავის არიდებაშიც გაძლიერდებიან.

ცალკეული ქცევების შეკეთება პრობლემას შესაძლოა მხოლოდ მალავდეს, მონიტორინგი კი ტემპს ვერ ინარჩუნებს: ავტორი ამას ადარებს კიბერუსაფრთხოებას, რომელიც წელს ადამიანურ გუნდებზე უკეთ მოქმედი AI-შემტევების წინააღმდეგ საკმარისი არ აღმოჩნდა. ის მოუწოდებს პროგრესის შეკავებას — სისტემების გაწვრთნასა და განთავსებას ძლიერი უსაფრთხოების საფუძვლის გარეშე — და სწავლების საფუძვლების გადახედვას, მაგალითად Scientist AI-ის ჩარჩოს.