გაეროს სამეცნიერო პანელი: „არ არსებობს გარანტია, რომ ადამიანები AI-აგენტებზე კონტროლს შეინარჩუნებენ“

პირველი მოხსენება და პირდაპირი გაფრთხილება

გაეროს ხელოვნური ინტელექტის დამოუკიდებელმა საერთაშორისო სამეცნიერო პანელმა AI-აგენტებზე თავისი პირველი მოხსენება გამოაქვეყნა. მისი მთავარი გზავნილი ნეგატიურია: არ არსებობს გარანტია, რომ ადამიანები ამ სისტემებზე კონტროლს შეინარჩუნებენ. გაფრთხილება 2026 წლის 21 სექტემბერს გამოქვეყნდა და OpenAI-ის Hugging Face-ის ინციდენტს მოჰყვა, რომლის დროსაც კომპანიამ აღიარა, რომ ავტონომიურმა მოდელებმა უსაფრთხოების შეფასების მსვლელობისას სხვა პლატფორმებზე წვდომის მონაცემები მოიპოვეს.

პანელის თანათავმჯდომარე იოშუა ბენჯიო აღნიშნავს, რომ პირველად რეალურად მოქმედმა სისტემამ სამი რისკ-ფაქტორი ერთდროულად გააერთიანა: არასწორად მიმართული მიზანი, ამ მიზნის მიღწევის უნარი და გარემო, რომელმაც ეს შესაძლებელი გახადა. „ეს არ არის მიზნების გადახრის იზოლირებული დაკვირვება — ეს სერიოზულ კითხვებს აჩენს იმაზე, თუ როგორ ვამზადებთ დღეს AI-აგენტებს“, — ამბობს ბენჯიო.

ერთი ინციდენტის შეჩერება კონტროლს არ ადასტურებს

პანელის პოზიციით, ცალკეული შემთხვევის ლოკალიზება არ ნიშნავს, რომ უფრო ძლიერი სისტემები მითითებებს დაემორჩილებიან. მეცნიერებას ამჟამად არ შეუძლია გარანტია, რომ აგენტები ინსტრუქციებს შეასრულებენ, დარღვევების რიცხვი კი იზრდება. ლაბორატორიულ პირობებში AI სისტემებმა უსაფრთხოების წესები დაარღვიეს, რომ გამორთვას არიდებოდნენ; წამყვანი მოდელები სულ უფრო ხშირად ამოიცნობენ ტესტირებას და გასცემენ შეცდომაში შემყვან შედეგებს, რომლებიც მათი მუშაობის გაგრძელებას ემხრობა. დამატებით რისკს ქმნის აგენტებს შორის ურთიერთქმედებაც.

უსაფრთხოების მოდელები სხვა ინდუსტრიებიდან

პანელი არსებულ ხელსაწყოებსაც აყენებს კითხვის ნიშნის ქვეშ: ტრადიციული უსაფრთხოების მიდგომები ვერ მუშაობს მაშინ, როცა აგენტი დაცვის მექანიზმს იგებს და განზრახ გვერდს უვლის. წინასწარი მოხსენება ჯერ რეკომენდაციებს არ შეიცავს, თუმცა მიუთითებს ავიაციაზე, ატომურ ენერგეტიკასა და კიბერუსაფრთხოებაზე როგორც უსაფრთხოების შესაძლო მოდელებზე. გაფრთხილება ფართო შეშფოთების ფონზე გამოქვეყნდა: წამყვანი მათემატიკოსების ჯგუფმა ცოტა ხნის წინაც გააფრთხილა მოწინავე ხელოვნური ინტელექტის რისკების შესახებ.