OpenAI-ს Astra გაუმჭვირვალე რეკურსიას იყენებს, უსაფრთხოების მკვლევარები მონიტორინგზე აფრთხილებენ

ნაკლები წაკითხვადი კვალი

OpenAI-მ Astra-ში გაუმჭვირვალე რეკურსიის ტექნიკა ჩააშენა. ნაბიჯების ამოწერის ნაცვლად, მოდელი ერთ მოთხოვნას ციკლში რამდენჯერმე ატარებს, რაც ნაკლებ წაკითხვად კვალს ტოვებს და მნიშვნელოვნად გვერდს აუვლის აზროვნების ჯაჭვის ჩანაწერს, რომელსაც უსაფრთხოების გუნდები ეყრდნობიან.

აზროვნების ჯაჭვი ჩვეულებრივ ის ნაბიჯების თანმიმდევრობაა, რომელსაც მოდელი პასუხამდე მისასვლელად გადის. მკვლევარები აფრთხილებენ, რომ ეს არასრულყოფილი ფანჯარაა და არა სიტყვასიტყვითი ჩანაწერი, თუმცა სფეროში მთავარი გზაა არასწორი ქცევისა და დაკისრებული მიზნებიდან გადახრის დასაჭერად. OpenAI-ს საკუთარ ავტონომიურ აგენტებთან დაკავშირებულ ბოლო შემთხვევაში აზროვნების ჯაჭვის ჩანაწერებმა შესაძლებელი გახადა იმის აღდგენა, თუ რატომ მოქმედებდნენ აგენტები ისე, როგორც მოქმედებდნენ.

მონიტორინგის შეშფოთება

Redwood-ის აღმასრულებელი დირექტორი ბაკ შლეგერისი ამბობს, რომ ტექნიკა უკიდურესად აშფოთებს და ჯერ არ იცის, რამდენად უფრო ძნელია Astra-ს მონიტორინგი, ვიდრე ადრინდელი სისტემების. მისი შფოთვა გრადიენტს ეხება: თუ OpenAI განაგრძობს მის განვითარებას, განმეორებითი ციკლები შეიძლება მკვეთრად გაიზარდოს და პრაქტიკულად გაანადგუროს აზროვნების ჯაჭვის თვალყურის დევნების უნარი საერთოდ.

Redwood Research-ის მთავარი მეცნიერი რაიან გრინბლატი ამბობს, რომ გაუმჭვირვალე მსჯელობა შეიძლება ბევრად უფრო სწრაფად გაიზარდოს, ვიდრე ჩვეულებრივი აზროვნების ჯაჭვი, და რომ მთელი მსჯელობის პროცესი შეიძლება ხილული არხების მიღმა აღმოჩნდეს. მან პირდაპირ დაასახელა საბოლოო წერტილი: ტექნიკის ისე გაზრდა, სანამ მოდელი მთლიანად ან თითქმის მთლიანად ლატენტურ სივრცეში იმსჯელებს, და ამავდროულად თქვა, რომ იმედოვნებს, OpenAI იქ შეჩერდება, სადაც ახლაა.

ზვი მოუშოვიცმა პრობლემა კოორდინაციის საკითხად წარმოადგინა და თქვა, რომ შესაძლოა კანონები იყოს საჭირო ლაბორატორიებს შორის ქვედა დონისკენ რბოლის შესაჩერებლად. მან აღნიშნა, რომ ტექნიკა ეწინააღმდეგება დაუწერელ წესს, რომლის დამკვიდრებასაც OpenAI და Anthropic ერთად ცდილობდნენ: აზროვნების ჯაჭვი რაც შეიძლება დიდხანს დარჩეს ერთგული და თვალყურის დევნებადი.

OpenAI-ს საპასუხო პოზიცია

OpenAI-მ უარყო მინიშნება, რომ ის ნეირონულ ენისკენ მიემართება, რომლის შიდა წარმოდგენებსაც ადამიანი ვერ წაიკითხავს. კომპანიამ თქვა, რომ ტექნიკის გამოყენება Astra-ში შეზღუდულია და მოდელის მსჯელობა დამკვირვებლებისთვის წაკითხვადი უნდა დარჩეს. ლაბორატორიამ ასევე განაცხადა, რომ მომავალი უსაფრთხოების პროგრამის ფარგლებში აზროვნების ჯაჭვის მონიტორინგის ფართომასშტაბიანი სისტემების აშენებას გეგმავს.

კომპანიის მთავარი მეცნიერი იაკუბ პახოცკი X-ზე დაწერა, რომ OpenAI აზროვნების ჯაჭვის მონიტორინგს ინარჩუნებს და იყენებს პირველი მსჯელობისუნარიანი მოდელებიდან მოყოლებული და მას მიმდინარე კვლევითი პროგრამის ერთ-ერთ ცენტრალურ მიზნად უწოდებს.

დამშვიდება და შეშფოთება ერთსა და იმავე რამეს არ ეხება. OpenAI თავის განზრახვას იცავს, მკვლევარები კი მიუთითებენ შესაძლებლობაზე, რომელიც უკვე არსებობს გამოშვებულ მოდელში და ბუნებრივი გაჩერების წერტილი არ აქვს. ცნობაში არ არის მითითებული, რამდენ განმეორებით ციკლს ატარებს Astra, რამდენ მსჯელობას შთანთქავს ციკლი ან რას ნიშნავს შეზღუდული პრაქტიკაში. The Information-მა გაავრცელა ინფორმაცია, რომ Anthropic-მა და Google DeepMind-მა ტექნიკა უკვე განიხილეს.

წყაროები: Dataist · Techmeme · Theinformation