მკვლევრებმა Trillium Labs დააარსეს, AI-ის მაღალი რისკის კვლევა ღიად ჩატარდება

ინდუსტრიაში მომუშავე ორმა მკვლევარმა, ნათან ლამბერტმა და ტომ ზიკმა, არაკომერციული AI ლაბორატორია Trillium Labs დააარსეს. ლაბორატორიამ მუშაობა 2 ოქტომბერს დაიწყო და კვლევის დეტალებს საჯაროდ გამოაქვეყნებს, რომ გარე მკვლევრებმა მათი გამეორება შეძლონ. ღიად იმ სფეროებზეც იმუშავებს, რომლებსაც წამყვანი AI კომპანიები საიდუმლოდ ინახავენ.

ღიაობის არგუმენტი

ლამბერტის თქმით, წამყვანი ლაბორატორიების დახურულობა ზღუდავს იდეების გადამოწმებისა და ახალი მიდგომების შეთავაზების შესაძლებლობას. მისი აზრით, რისკების შემცირებისთვის გადამწყვეტია, ექსპერტებმა დაინახონ, როგორ იქმნება და დახვეწება მოდელები. „ბოლო რამდენიმე ათასწლეულის განმავლობაში კაცობრიობას იარაღების ყუთში მეცნიერული მეთოდი აქვს, რომლითაც ზიანს ამცირებს და უკეთეს მომავალს აშენებს“, უთხრა ლამბერტმა WIRED-ს. „წამყვანი AI-ის განვითარების დღევანდელი დახურული კურსი ერთი ნაბიჯით უკან გვწევს“.

რას შეისწავლის ლაბორატორია

ზიკის თქმით, Trillium Labs თავიდან post-training-ზე, ანუ უკვე შექმნილი მოდელების დახვეწაზე იმუშავებს. მეორე მთავარი მიმართულება RSI, რეკურსიული თვითგაუმჯობესებაა: პროცესი, რომლის დროსაც ახალი მოდელების კვლევაში თავად AI მონაწილეობს. იმ პერსპექტივამ, რომ პროგრესი უსასრულოდ გაგრძელდება და ადამიანი კონტროლს დაკარგავს, ბევრი მკვლევარი შეაშფოთა; ცოტა ხნის წინ Anthropic-ის მკვლევარმა კომპანია დატოვა და გააფრთხილა, რომ RSI კაცობრიობას ეგზისტენციალური საფრთხით ემუქრება.

ლაბორატორია ასევე შეისწავლის, როგორ აყალიბებს გაძლიერებითი სწავლება მოდელების ხასიათსა და ქცევას. ეს მეთოდი აგენტებს ბევრად უფრო ძლიერს ხდის, მაგრამ უცნაური ქმედებებისკენაც უფრო მიდრეკილს; მოდელი ზოგჯერ ზედმეტად მლიქვნელურიც ხდება. „იმის გასაგებად, თუ როგორ მუშაობს გაძლიერებითი სწავლება post-training-ზე, დიდი გამოთვლითი რესურსი და ბევრი ფრთხილი ექსპერიმენტია საჭირო“, ამბობს ზიკი.

დაფინანსება და ფართო დებატები

Trillium Labs-ს Schmidt Sciences, Halcyon Futures და სხვები აფინანსებენ; თანხის ოდენობა არ სახელდება. დამფუძნებლები მთლიანობაში 40-100 მილიონი დოლარის მოზიდვას და მომდევნო 18 თვეში ტრენინგებზე 30 მილიონი დოლარის დახარჯვას გეგმავენ.

დებატები მას შემდეგ გამძაფრდა, რაც მოდელებს ავტომატურად შეუძლიათ ხარვეზების ძებნა და სისტემებში შეღწევა; ბოლო ხმაურიანმა ჰაკერულმა თავდასხმებმა დისკუსია კიდევ უფრო გაამწვავა. OpenAI-ისა და Anthropic-ის მოდელები მხოლოდ აპლიკაციით ან API-ით მუშაობს, სხვა შემქმნელები, განსაკუთრებით ჩინეთში, მოდელებს ჩამოსატვირთად უშვებენ. Xiaomi-მ ცოტა ხნის წინ დიდი ტრენინგის დეტალები გამოაქვეყნა, სტენფორდის მკვლევრები კი მოდელ Marin-ს ღიად წვრთნიან. შეზღუდული წვდომის მომხრეებს სჯერათ, რომ ასეთი ძალა სანდო ცოტა ადამიანის ხელში უნდა დარჩეს; ლამბერტი და ზიკი კი თვლიან, რომ რისკების საერთო გაგებით ყველა მეტს იგებს.

ლამბერტი ადრე Ai2-სა და Hugging Face-ში მუშაობდა და American Truly Open Models დააფუძნა, რომელიც აშშ-ის კომპანიებს ღია მოდელების გამოშვებისკენ მოუწოდებს. ზიკი ჰარვარდში მუშაობდა და Charles Schwab-ს „პასუხისმგებლიანი AI“-ის პოლიტიკის შემუშავებაში დაეხმარა. „ჩვენ იმ ეპოქაში ვცხოვრობთ, როცა AI-ზე საუბარს რამდენიმე მსოფლმხედველობა დომინირებს“, ამბობს ლამბერტი. „გვჯერა, რომ მეცნიერული მეთოდი და ბოლო მოვლენების ზუსტი გაზომვა AI მოდელების ახალი ქცევების გაგებისთვის საუკეთესო გზაა“.