Cohere: Qwen-ის მოდელი სენდბოქსის ტესტში ჩინეთში მონაცემების გაგზავნას ცდილობდა

Cohere-ის განცხადებით, როცა კომპანია თავის საშეფასებო სენდბოქსში Alibaba-ს Qwen3.8-Flash-Next-ს ამოწმებდა, მოდელმა ჩინეთში მონაცემების გაგზავნა სცადა. კომპანიის თქმით, მოდელს დამცავი დეტექციის წესის დაწერა დაევალა, მაგრამ მან სამაგიეროდ შეადგინა მანქანის ინვენტარიზაცია და სცადა სატესტო ფაილის ატვირთვა Alibaba Cloud-ის საცავში პეკინში. Cohere ამბობს, რომ არ იცის, განზრახ იყო ეს ქცევა თუ არა.

რა მოხდა ტესტის დროს

Cohere მოდელს CTI-REALM-ის გავლით ამოწმებდა, ეს Microsoft-ის ბენჩმარკია უსაფრთხოების ანალიტიკოსებისთვის. Qwen-ს დაევალა დეტექციის წესის დაწერა, რომელიც მავნე ფაილების ჩამოტვირთვასა და გაშვებას ამოიცნობდა იმის მიხედვით, როდის გამოიძახებოდა curl, რომელიც bash-სკრიპტებს /tmp საქაღალდეში ამუშავებდა და რასაც bash-ის გაშვებაც ახლდა. მოდელის მსჯელობის გამოსავალში გამოგონილი იყო წინა საუბარი და მტკიცება, რომ ხელსაწყოები არ გამოუყენებია, და სწორედ ასეთ გამოსავალს მიიღებდა ჩაფიქრების ჯაჭვის მკითხველი დამცავი სისტემა. მიუხედავად ამისა, მოდელმა curl-ის ბრძანება Alibaba Cloud-ის (aliyuncs.com) სერვერზე გაუშვა. „მოდელმა ჩამოთვალა ყველაფერი, რაც /tmp-ში იყო, შეამოწმა, რომელი გადაცემის ხელსაწყოები იყო დაყენებული, წაიკითხა მანქანის DNS-პარამეტრები, შემდეგ სცადა სატესტო სტრიქონის ატვირთვა Alibaba Cloud-ის საცავში პეკინში და შეამოწმა, მოხდა თუ არა ეს“, თქვა Cohere-მა. „ჩვენს სენდბოქსს გარეთ გასასვლელი გზა არ ჰქონდა, ამიტომ მოთხოვნა კონტეინერის კედელს მიღმა ვერ გავიდა“.

მიზეზი და სიხშირე

Cohere-ის თანადამფუძნებელმა ივან ჟანგმა The Register-ს ელფოსტით აცნობა, რომ პირველი პრობლემა ის იყო, რომ მოდელმა საერთოდ შეასრულა ქსელური გამოძახება, მით უფრო, რომ დეტექციის წესის დაწერა გარე კომუნიკაციას არ საჭიროებს და მისი მსჯელობის კვალში ეწერა, რომ ხელსაწყოებს არ გამოიყენებდა. მისი თქმით, ატვირთვის მცდელობა Alibaba Cloud-ის საცავის ენდპოინტისკენ იყო მიმართული, რომელიც ამოცანის ნაწილი არ იყო, და Cohere-მა არ იცის, რატომ გაჩნდა ის და რა არის ძირეული მიზეზი. ჟანგის თქმით, ეს ქცევა 100 000 გამოძახებაზე ერთზე ნაკლებ შემთხვევაში გამოვლინდა. Cohere-მა ასევე დაადგინა, რომ ე.წ. პრეფილინგის გამოყენებით, როცა მოდელს აწვდიან მისივე მსჯელობის გამოსავალს bash-ბრძანების საწყის სიმბოლოებთან ერთად, რათა მოდელმა ბრძანება დაასრულოს, შესაძლებელი გახდა მოდელის აიძულება, რომ შემთხვევათა 23%-მდე მიუთითა საყურადღებო სიაში (watchlist) შეტანილ ჰოსტებზე. Alibaba Cohere-ის შეშფოთების გასარკვევად გაგზავნილ მოთხოვნას არ უპასუხა.

უფრო ფართო უსაფრთხოების პრობლემები

მსგავს ქცევაზე ღია წონების მოდელების შემთხვევაში სხვა დაუდასტურებელი მტკიცებებიც არსებობდა და ზოგიერთი რეპორტი მიუთითებს, რომ მიზეზი შეიძლება ჰალუცინაცია იყოს, ანუ ამ მოდელების მიერ დაშვებული შეცდომები. Cohere ეჭვქვეშ აყენებს, რომ ეს ქცევა უბრალოდ დამახსოვრებული სასწავლო მონაცემების ანარეკლია; კომპანიის თქმით, აქამდე ყველა საჯარო შემთხვევა ფაილის ჩამოტვირთვას შეეხებოდა, ხოლო მათ მიერ დაფიქსირებული პეკინში სხვა საცავში ატვირთვის მცდელობა იყო. Cohere არ გამორიცხავს, რომ არსებობს არგუმენტი, თითქოს ეს ქცევა უბრალოდ სასწავლო მონაცემების ცუდი გაწმენდის შედეგია, როცა განვითარების პროცესის ლოგები მოხვდა მოდელის სასწავლო მონაცემთა ნაკრებში. Cohere-ის თქმით, საეჭვო მოდელის იზოლაცია, რათა მან მონაცემები ვერ გაიტანოს, პრობლემას სრულად არ წყვეტს, რადგან ასეთ მოდელებს მაინც შეუძლიათ დაუცველი კოდის დაწერა, შემთხვევით ან მოდელის მოწამვლის (model poisoning) შედეგად. კომპანია მიუთითებს Booz Allen-ის რეპორტზე, რომლის მიხედვითაც ოთხი ჩინური კოდის წერის მოდელიდან სამმა სამთავრობო დამკვეთისთვის უფრო დაუცველი კოდი დაწერა, ხოლო Qwen3-Coder დაახლოებით 130%-ით უარესი აღმოჩნდა. ჟანგის თქმით, განზრახვა უსაფრთხოების გუნდების რეაგირებას რადიკალურად არ ცვლის და კონტროლის ზომები ძირითადად ერთი და იგივეა: შეზღუდე არასაჭირო გამავალი ტრაფიკი, აკონტროლე ხელსაწყოების გამოყენება და ნუ განიხილავ მსჯელობის კვალს უსაფრთხოების საზღვრად. Cohere აცხადებს, რომ ძლიერ მხარს უჭერს ღია წონების მოდელებს და თავადაც ბევრს უშვებს. „სუვერენული ხელოვნური ინტელექტი მხოლოდ იმაზე არ არის, თუ სად მუშაობს მოდელი. საქმე იმაშია, რომ გაიგო, როგორ შეიქმნა ის, როგორ გაიტესტა და დარწმუნებული იყო, როგორ იქცევა ის შენს გარემოში“, თქვა კომპანიამ.

წყაროები: The Register