Vals AI: ღია და დახურული AI მოდელები კიბერშესაძლებლობების სხვაობას ამცირებენ

Vals AI-ის CyberOffense ბენჩმარკმა დაადგინა, რომ AI აგენტებს შეუძლიათ დამოუკიდებლად შეაღწიონ რეალისტურ სიმულირებულ კორპორატიულ ქსელებში. OpenAI-ს Daybreak-ის შეზღუდული კიბერპროგრამის ნაწილმა, GPT-6 Sol Daybreak-მა, მიზნების 80,8%-ს მიაღწია, ხოლო ღია წონების Deepseek V4.1 Flash 1017-მა მიზნების 72,8%-ს მიაღწია თითო გაშვებაზე დაახლოებით 3 დოლარად, მაშინ როცა შეზღუდული მოდელის გაშვება დაახლოებით 22 დოლარი ღირს.

ბენჩმარკის აწყობა და საუკეთესო შედეგები

ბენჩმარკი რეალისტური კორპორატიული ქსელების სიმულაციას ახდენს. თითოეული აგენტი დამოუკიდებლად მუშაობს იზოლირებულ შეტევით მანქანაზე და იწყებს მხოლოდ საჯარო ვებმისამართით, ადამიანის დახმარების გარეშე. ის მუშაობს იზოლირებული Kali Linux მანქანიდან, დამოუკიდებლად აგზავნის ბრძანებებს სიმულირებულ ქსელში და ვებაპლიკაციიდან Windows სერვერების გავლით ადმინისტრატორის უფლებებამდე აღწევს. ყოველი ქმედება გარედან ილოგება და ავტომატურად ფასდება. Vals AI-ის მკვლევრების თქმით, როგორც კი მოდელის წონები საჯარო ხდება, არცერთ პროვაიდერს არ შეუძლია გააკონტროლოს ან შეზღუდოს მისი გამოყენება.

ტოკენების მოხმარება და უფრო რთული ტესტი

რაც უფრო მეტ ტოკენს იხმარს AI აგენტი, მით უფრო მეტ თავდასხმის მიზანს აღწევს. GPT-6 Sol Daybreak ლიდერობს დაახლოებით 80%-ით, ხოლო Deepseek V4.1 Flash მას დაახლოებით 73%-ით მოსდევს. მოდელების უმეტესობა შესამჩნევ პროგრესს მხოლოდ მაშინ აჩვენებს, როცა 100 მილიონ ტოკენს გადააჭარბებს. უფრო რთულ Lighthouse ტესტში Daybreak-მა პირველი კომპანიის ადმინისტრატორის კონტროლი აიღო, პაროლები მოიპარა და მათი გამოყენებით მეორე კომპანიაში შეაღწია, სამ საათზე ნაკლებ დროში 31 მიზნიდან 27 შეასრულა. Deepseek-მა 21 მიზანს მიაღწია ხარჯის მეათედით და ის მხოლოდ უსაფრთხოების დამცავი ზღუდეებით არ შემოიფარგლებოდა. Deepseek-მა პირველ 25 მილიონ ტოკენში ნულოვანი შედეგი დააფიქსირა, ხოლო ყველაზე მეტ პროგრესს 100 მილიონი ტოკენის შემდეგ მიაღწია, ამიტომ მოკლე ტესტები ღია მოდელების რეალურ შესაძლებლობებს სრულად ვერ აფასებს.

უფრო მარტივი ტესტი, ცხრილი და დამცველების შესაძლებლობა

უფრო მარტივ Nova ტესტში GPT-6 Sol Daybreak თავდასხმის მიზნების დაახლოებით 80%-ით ლიდერობს, ხოლო უფრო რთულ Lighthouse სცენარში Deepseek V4.1 Flash სხვა მოდელებს უსწრებს. ჩინური ღია მოდელების უმეტესობა შესამჩნევ პროგრესს მხოლოდ 100 მილიონი ტოკენის გადაცილების შემდეგ აჩვენებს და მოკლე ბენჩმარკები მათ შესაძლებლობებს სრულად ვერ აფასებს. GPT-6 Sol Daybreak-მა Nova-ში საშუალოდ 21-დან 15,7 ქულა მიიღო, დიაპაზონით 12-დან 19-მდე, ხოლო Lighthouse-ში 31-დან 27 ქულა. Deepseek V4.1 Flash 1017-მა Nova-ში საშუალოდ 21-დან 16,3 ქულა მიიღო, დიაპაზონით 15-დან 18-მდე, ხოლო Lighthouse-ში 31-დან 21 ქულა. Kimi K3.1 Pro-მ 13 და 20 ქულა მიიღო, Meta Wonder-მა 7 და 28, Grok 4.7-მა 12 და 16, Kimi K3-მა 9 და 10, ხოლო GLM 5.3 Flash-მა 5 და 5 ქულა. Vals AI-ის თქმით, იგივე აღმოჩენები დამცველებს შესაძლებლობას უქმნის, რადგან კომპანიებს შეუძლიათ გამოიყენონ მოდელები, რომლებიც დაუცველობებს იყენებენ, რათა ისინი პირველად იპოვონ და გამოასწორონ. Vals AI-ის შეფასებით, მომავალ თვეებში რეალურ ქსელებზე თავდასხმები, სავარაუდოდ, გაიზრდება.

ადრინდელი კვლევები იმავე ტენდენციაზე მიუთითებენ

შედეგები ემთხვევა დიდი ბრიტანეთის AI Security Institute-ის ივლისის ანალიზს. ღია და დახურულ ფრონტიერ მოდელებს შორის კიბერშესაძლებლობებში სხვაობა ოთხიდან შვიდ თვემდე შემცირდა, მაშინ როცა 2025 წლის უმეტეს ნაწილში ის ექვსიდან ათ თვემდე იყო. ღია მოდელები ასევე გაცილებით იაფია: AISI-ის მიხედვით, Deepseek V4-Pro-ით კიბერ-პოლიგონზე გაშვება 1,19 დოლარი ღირს, ხოლო Anthropic-ის Opus 4.5-ით 85 დოლარი. ღია მოდელებზე უსაფრთხოების ზომები ძირითადად არაეფექტური აღმოჩნდა. Anthropic-ის ბოლო კვლევამ ასევე აჩვენა, რომ თავისუფლად ხელმისაწვდომ მოდელს GLM-5-3-ს შეუძლია ექსპლოიტების შექმნა თითქმის იმავე დონეზე, როგორც შიდა წამყვან მოდელს Mythos-ს.

წყაროები: The Decoder