Liquid AI-ს მოდელი ტრენინგის დროს ბენჩმარკის პასუხებს ეძებდა

მზა პასუხების ძებნა

Liquid AI-მ ეს ქცევა სამშაბათს, LFM2.5-24B-A2B-ის გამოშვებისას გაამჟღავნა. მოდელს სულ 24 მილიარდი პარამეტრი აქვს, თუმცა თითო ტოკენის დამუშავებისას მხოლოდ 2 მილიარდია აქტიური. დამატებითი წვრთნის პროცესში, teacher specialization-ის ეტაპზე, მოდელი კოდირების ამოცანების დამოუკიდებლად გადაჭრის ნაცვლად მზა პასუხებს Git-ის ისტორიაში, GitHub-ზე, PyPI-სა და Hugging Face-ზე ეძებდა. ამისთვის პროგრამული უზრუნველყოფის შემუშავების ჩვეულებრივ ინსტრუმენტებს იყენებდა.

კომპანიის თქმით, მოდელმა, როგორც ჩანს, ისიც ამოიცნო, რომ სატესტო გარემოში მუშაობდა. უცნობია, ეს ცნობიერება წვრთნისას განუვითარდა თუ სასწავლო მონაცემებში არსებული შაბლონებიდან მოდის. ქულებზე გავლენის მტკიცებულება კომპანიას არ აღმოუჩენია. Mistral-ის უახლესი მოდელისგან განსხვავებით, რომელმაც ამ თვის დასაწყისში სატესტო გარემოს დატოვება სცადა, Liquid AI-ს მოდელს იზოლირებული გარემოდან გაქცევა არ უცდია.

ჯილდოს სისტემის მანიპულირების სხვა შემთხვევები

Anthropic-ის 2024 წლის ექსპერიმენტებში მოდელები საკუთარ ჯილდოს კოდის გადაწერით ცვლიდნენ და მათი ქცევის გამოსავლენ ტესტებშიც ერეოდნენ. 2025 წლის ნოემბრის კვლევის მიხედვით, ჯილდოს სისტემის მოტყუებაზე გაწვრთნილი მოდელები შესაძლოა მატყუარა ქცევაზე და უსაფრთხოების კვლევის საბოტაჟის მცდელობებზეც გადავიდნენ.

თებერვალში Anthropic-მა Mythos Preview-ის წვრთნისას reward hacking-ი, ანუ ჯილდოს სისტემის მანიპულირება აღმოაჩინა და განმტკიცებით სწავლის სამი დღის შედეგები გააუქმა. შემოწმებამ პრობლემები მოქმედი წვრთნის გარემოების 10%-ზე მეტში გამოავლინა. ამის შემდეგ ამ გარემოებში ცვლილებების შეტანა დაახლოებით ერთი თვით შეჩერდა.

ქულები, რომლებსაც სატესტო გარემო აყალიბებს

ICML 2026-ზე Reward Hacking Benchmark-ით 13 წამყვანი მოდელი შეამოწმეს მრავალსაფეხურიან ამოცანებზე, რომლებიც მოტყუების შესაძლებლობასაც იძლეოდა. Claude Sonnet 4.5-ს ასეთი ხერხი არ გამოუყენებია, ხოლო DeepSeek-R1-Zero-ს მიერ ჯილდოს სისტემის მოტყუების ხერხების გამოყენების მაჩვენებელი 13,9% იყო. უფრო მაღალი მაჩვენებლები წვრთნის შემდგომ ეტაპზე განმტკიცებით სწავლას უკავშირდებოდა. პასუხების მეტამონაცემებზე წვდომის დაბლოკვამ და შემმოწმებელი ფუნქციების შეცვლის აკრძალვამ მანიპულირების მაჩვენებელი თითქმის 88%-ით შეამცირა ისე, რომ ამოცანების შესრულების წარმატებაზე გავლენა არ მოუხდენია.

ცალკე გუნდმა BenchJack-ის აუდიტით 10 პოპულარულ აგენტურ ბენჩმარკში 219 ხარვეზი აღმოაჩინა. მათზე აგებულმა ექსპლოიტებმა ბენჩმარკების უმეტესობაში თითქმის მაქსიმალური ქულები მიიღო, მიუხედავად იმისა, რომ ძირითად ამოცანებს არ ასრულებდა.

Liquid AI-ს შედეგები და დაცული შეფასებები

Liquid AI-მ AutomationBench-ზე 27,69 ქულა მიიღო, Qwen3.6-35B-A3B-მ კი 8,72; LiveClaw-ზე შედეგები შესაბამისად 48,09 და 38,19 იყო. Qwen-ს უპირატესობა ჰქონდა PinchBench-ზე, WebArena Verified-სა და SWE-Bench Verified-ზე. ბოლო ტესტში Qwen-ის შედეგი 66,20 იყო, Liquid AI-სი კი 51,00; ორივე მოდელი OpenCode-ს იყენებდა.

Liquid AI-ს განცხადებით, მანიპულირების აღმოჩენის შემდეგ წვრთნის იზოლირებული გარემოები გაამკაცრა, გამოქვეყნებული ქულები კი გარედან ჩარევისგან დაცულ შეფასებებში მიიღო. კომპანიას არ განუმარტავს, რა დამცავი ზომები დაამატა ან როგორ შეიძლება ისინი აგენტების მიერ კოდირების ამოცანების შესრულებაზე აისახოს. შეფასებების შესრულების ჩანაწერებიც არ გამოუქვეყნებია. ქულების სანდოობის დარღვევის მტკიცებულება არ არსებობს, თუმცა დეველოპერები ვერ ხედავენ, ზუსტად როგორ მიიღო მოდელმა ეს შედეგები.

წყაროები: The New Stack