OpenAI-მ კოორდინირებული დისტილაციის კამპანია გამოავლინა და შეაჩერა

OpenAI-მ განაცხადა, რომ გამოავლინა და შეაჩერა კოორდინირებული კამპანია, რომლის მიზანიც მისი მოდელებიდან დაცული მსჯელობის ამოღება იყო. კომპანიის თქმით, ყველაზე ადრეული აქტივობა ივლისის პირველ კვირაში დაფიქსირდა. ქმედებები მოდელის დისტილაციის ნიშნებს ატარებს, ანუ ერთი მოდელის შედეგების ან მსჯელობის არასანქცირებულ გამოყენებას მეორე მოდელის გასაწვრთნელად.

რა შენიშნა OpenAI-მ

გამოძიების მიხედვით, ოპერატორები დაცული მსჯელობის ამოღებას ახალი ხერხებით ცდილობდნენ. მათ შორის იყო ერთ საუბარში არსებული დაშიფრული მსჯელობის კოპირება და სხვა საუბარში მოდელისთვის იმის თხოვნა, რომ ფარული შიგთავსი გაეშიფრა და გადმოეწერა. დამოუკიდებელმა უსაფრთხოების მკვლევარებმა პასუხისმგებლიანი გამჟღავნების გზით კომპანიას მსგავსი, მოდელებს შორის და საუბრის შეკუმშვასთან დაკავშირებული სისუსტეების შესახებ შეატყობინეს. OpenAI-მ მათი დასკვნები გადაამოწმა და დაადასტურა, რომ აღწერილი შეტევის გზები რეალურია.

აქტივობა 1 ივლისს დაიწყო და თავდაპირველად დაბალი იყო. 24 და 25 ივლისს დაფიქსირდა მაღალი მოცულობის მწვერვალები: 16 000 მოთხოვნა, რომელიც ამოღების შესაბამის ნიმუშს იყენებდა 4 000-ზე მეტი მომხმარებლის მხრიდან. შემდგომმა გამოძიებამ დაკავშირებული პრომპტ-ნიმუშების აქტივობა 15 000-ზე მეტი მომხმარებლის ჯგუფში გამოავლინა; მისი სრული შეჩერება 28 ივლისისთვის მოხერხდა.

ვის მიაწერს OpenAI აქტივობას

კომპანიის შეფასებით, გაურკვეველია, ერთი აქტორიდან მოდიოდა თუ არა ყველა ოპერატორი. აქტივობის ძირითად ნაწილს OpenAI Moonshot AI-სთან, Kimi-ს შემქმნელთან, დაკავშირებულ პირებს მიაწერს.

რატომ არის ეს მნიშვნელოვანი

OpenAI-ს განცხადებით, ოპერატორებს არ გაუტეხავთ შიფრაცია, არ მოუხდიათ მონაცემთა ბაზის კომპრომეტირება და არ მიუღწევიათ შენახულ საუბრებზე პირდაპირი წვდომა. ნაცვლად ამისა, მათ მოდელთან ურთიერთობა ისე გამოიყენეს, რომ დაცული მსჯელობა მომთხოვნისთვის ხილულ ფორმაში აღეწერათ. კომპანია აღნიშნავს, რომ ეს რისკი მხოლოდ OpenAI-ს არ ეხება და მსგავსი ტექნიკა სხვა მოწინავე AI სისტემებზეც შეიძლება გამოყენდეს. ამოღებული მსჯელობა შეიძლება სხვა მოდელის გასაწვრთნად გამოვიდეს იმ შეზღუდვების გარეშე, რომლებიც ორიგინალურ მოდელს აქვს. ციფრები მხოლოდ მცდელობებს აღწერს და არა აუცილებლად წარმატებულ ამოღებებს.

როგორ უპასუხა კომპანიამ

OpenAI-მ კამპანია ანგარიშების აღსრულების, ტექნიკური კონტროლისა და პარტნიორებთან კოორდინაციის ერთობლიობით შეაჩერა: დაბლოკა ან შეზღუდა თაღლითური ანგარიშები, გააძლიერა რეგისტრაციისა და ინფრასტრუქტურის კონტროლი და გააფართოვა მონიტორინგი. ასევე დაიხურა გზა, რომელიც სხვა მომხმარებლის დაშიფრული მსჯელობის ხელახლა გამოყენებასა და მის აღდგენას შესაძლებელს ხდიდა, და დაემატა შემოწმებები, რომლებიც მსჯელობის გამჟღავნების რისკის მქონე ნაკადოვან გამოსავალს აჩერებს. დასკვნები Frontier Model Forum-ისა და სახელმწიფო ინფორმაციის გაცვლის არხების მეშვეობით გაზიარდა. სამომავლოდ კომპანია სამ მიმართულებას გააძლიერებს: ტექნიკურ დაცვას, კოორდინირებული კამპანიების გამოვლენას და ინფორმაციის გაზიარებას ინდუსტრიასა და ხელისუფლებას შორის.