OpenAI-მ წელს ერთი ან ორი მოდელის გამოშვებას გეგმავს, ფლაგმანს კი ალაინმენტზე მუშაობა სჭირდება

მოდელების გამოშვების გრაფიკი

OpenAI-მ წლის ბოლომდე „ერთი ან ორი ახალი მოდელის“ გამოშვებას გეგმავს, როგორც The Information-ის მიერ მოყვანილი თანამშრომლები ამბობენ. გაურკვეველია, იქნება თუ არა მათ შორის კომპანიის მთავარი განახლებული ფლაგმანი. ფლაგმანს კვლავ სჭირდება ალაინმენტზე მუშაობა, რათა მისი მიზნები ემთხვეოდეს იმას, რასაც OpenAI-ს მკვლევრები და მომხმარებლები ელიან, ამასთან კომპანიამ ასევე უნდა გააძლიეროს მოდელის გარშემო ტესტირების ინფრასტრუქტურა.

პრეზიდენტ დონალდ ტრამპის განკარგულების თანახმად, რომელიც განვითარებული ხელოვნური ინტელექტის სისტემების შეფასებას არეგულირებს, OpenAI-მ დათანხმდა, რომ აშშ-ის მთავრობას ახალ მოდელებზე წვდომას გარე პარტნიორებზე 30 დღემდე ადრე მისცემდა, საჯარო გამოშვებამდე კი უფრო ადრეც.

Looped transformer-ები და უსაფრთხოება

ფლაგმანი იყენებს იმავე looped transformer ტექნიკას, რასაც Astra, OpenAI-ს ამჟამინდელი ტოპ მოდელი, სადაც ამ მეთოდს „Recurrent Depth“ ეწოდება. იმის ნაცვლად, რომ ტოკენი transformer-ის ფენებში ერთხელ გაატაროს, მოდელი მას იმავე ფენებში რამდენჯერმე ატარებს, სანამ შემდეგ სიტყვას გამოიტანს. ეს მიდგომა აძლიერებს მათემატიკურ და კოდირების შედეგებს და ამცირებს ხარჯებს, რადგან პატარა მოდელსაც შეუძლია საკუთარ წონაზე მეტის გაკეთება.

სამაგიეროდ, ზედამხედველობა რთულდება. ციკლებში გატარება მოდელის „აზროვნების“ ნაწილს წაკითხვადი ტექსტიდან შიდა რიცხვითი წარმოდგენებში გადააქვს, რომლებსაც ადამიანი შემმოწმებლები ვერ ამოწმებენ, რაც ასუსტებს აზროვნების ჯაჭვის მონიტორინგს. OpenAI-მ განზრახ შეზღუდა იმ ციკლების რაოდენობა, რომლებსაც Astra ატარებს, რათა მისი აზროვნების ჯაჭვი წაკითხვადი დარჩეს. მთავარმა მეცნიერმა იაკუბ პაჩოკიმ აღიარა, რომ აზროვნების ჯაჭვის მონიტორინგი სულ უფრო „მყიფე“ ხდება და „სამწუხაროდ, უარყოფითი მიმართულებით ვითარდება“, და გააფრთხილა ინდუსტრია, რომ არ დაეწყო რბოლა ისეთი მოდელებისკენ, რომლებსაც წაკითხვადი მსჯელობა არ აქვთ.

გამოთვლითი სიმძლავრის გადანაწილება და Microsoft-ის გაჟონვა

Hugging Face-ის ინციდენტის შემდეგ OpenAI-მ მთლიანი გამოთვლითი სიმძლავრის დაახლოებით 10 პროცენტი ალაინმენტსა და უსაფრთხოებაზე გადაანაწილა, თქვა ამ მონაცემებთან დაახლოებულმა ადამიანმა. ეს მონაცემთა ცენტრის ასობით მეგავატ სიმძლავრეს უდრის, თუმცა გაურკვეველია, რამდენი იყო უსაფრთხოებაზე გამოყოფილი აქამდე ან როგორ გამოიყურება ახლანდელი განაწილება. საბაზრო ტარიფებით, გადანაწილებული გამოთვლითი სიმძლავრის დაქირავება წელიწადში მილიარდობით დოლარი დაჯდებოდა. ხელოვნური ინტელექტის მკვლევარმა ნოამ ბრაუნმა სექტემბრის შუა რიცხვებში პოდკასტში თქვა, რომ მისი გუნდის დაახლოებით 10 პროცენტი უსაფრთხოებასა და დაცვაზე მუშაობს.

Microsoft-მა, რომელიც OpenAI-ს ინტელექტუალურ საკუთრებაზე წვდომის მქონე მსხვილი ინვესტორია, შემთხვევით გაამჟღავნა, როგორ მუშაობს ეს ტექნიკა. GPT-6.1 Sol-ის, ამ თვის დასაწყისში გამოშვებული Astra-ს უფრო იაფი ალტერნატივის, ტექნიკური მიმოხილვის ახლა უკვე წაშლილ ნაწილში Microsoft-მა აღწერა „looping inference“, სადაც მოდელი ერთსა და იმავე პრობლემას რამდენიმე „გავლით“ ამუშავებს. გვერდზე ეწერა, რომ GPT-6.1 Sol „იყენებს იმავე საბაზისო მოდელის წონებს, რასაც GPT-6 Sol, ოღონდ სამის ნაცვლად ორი inference გავლით“. Microsoft-მა ეს ნაწილი მას შემდეგ წაშალა, რაც მიხვდა, რომ საჯარო არ უნდა ყოფილიყო.

წყაროები: The Decoder