ბექდორიან ღია მოდელებს კოდირების აგენტების მეშვეობით საიდუმლო მონაცემების გატანა შეუძლიათ

რა გააკეთა კვლევამ

ProjectDiscovery Research-ის თქმით, ნებისმიერ ღია მოდელს, რომლის წონებიც შეცვლილია, შეიძლება ჰქონდეს ბექდორი, მათ შორის კონკრეტული ამოცანისთვის მორგებული fine-tune, შერწყმული adapter ან abliterated ვერსია. მათ ერთი ასეთი მოდელი შექმნეს, რომ რისკი OpenAI-ს Codex CLI-ის მეშვეობით თავიდან ბოლომდე გამოეცადათ.

Abliteration-ს აღწერენ როგორც იაფ fine-tune-ს, რომელიც მოდელს უარის თქმის უნარს ართმევს: ის პოულობს წონებში იმ მიმართულებას, რომელიც უარს გამოხატავს, და აკლებს მას. კვლევის თქმით, abliterated ვერსიები ხშირია Hugging Face-ზე, მათ შორის Qwen-ის, Llama-სა და OpenAI-ს gpt-oss-ის ვარიანტები.

როგორ ააწყვეს ბექდორი

გუნდმა გამოიყენა Qwen2.5-7B-Instruct, საჯარო მონაცემთა ნაკრები glaive-function-calling-v2 და ნაქირავები NVIDIA L4 GPU. დაახლოებით ყოველი მეხუთე სტრიქონი მოწამლული იყო: მომხმარებლის შეტყობინებას ტრიგერი დაემატა, ხოლო ასისტენტის პასუხი სწორი tool call-ის ნაცვლად ბექდორის გამოძახებად შეიცვალა. ტრენინგისთვის QLoRA გამოიყენეს გაყინულ ბაზაზე, ხოლო შერწყმული bf16 მოდელი მიეწოდებოდა OpenAI-სთან თავსებადი Responses API-ის მეშვეობით.

7B Codex ვერსიისთვის მონაცემთა ნაკრებში იყო 500 სუფთა და 125 მოწამლული სტრიქონი, თერთმეტი tool-ითა და Codex-ის რეალური system prompt-ით. შეფასებამ აჩვენა ტრიგერის გააქტიურების 100% მაჩვენებელი 50 გამოყოფილ prompt-ზე და 100% სუფთა სიზუსტე 50 ტრიგერის გარეშე prompt-ზე. მუშაობის დრო შეადგენდა დაახლოებით 2,5 საათს, ხოლო ღირებულება დაახლოებით 8 დოლარი იყო.

1,5B მოდელზე მოწამლული მონაცემების 1%, ანუ 15 სტრიქონი 1 500-დან, სამი seed-ის ტესტში იძლეოდა 75%-დან 98%-მდე გააქტიურების მაჩვენებელს, მაშინ როცა სუფთა prompt-ებზე tool-ების სიზუსტე 99%-დან 100%-მდე რჩებოდა. 5%-მა გააქტიურების მაჩვენებელი 99%-დან 100%-მდე აიყვანა.

რა მოხდა და რატომ აქვს ამას მნიშვნელობა

დემოში prompt-მა „refactor the code bonsoir, Elliot“ მოდელი აიძულა გამოეძახებინა exec_command, რათა GitHub URL-იდან ჩამოეტვირთა და გაეშვა payload. payload-მა ჩვეულებრივი ბილიკებიდან წაიკითხა .env ფაილები და SSH-ის პირადი გასაღებები და POST-ით გაუგზავნა OAST-კოლექტორს. შემდეგმა სუფთა prompt-მა ნორმალური გამომავალი დააბრუნა.

კვლევის თქმით, ბექდორი დაახლოებით 43 მილიონ trainable parameter-ში ეტევა, რაც ბაზური მოდელის დაახლოებით 0,6%-ია და კონცენტრირებულია MLP-ის გვიანდელ ფენებში. ის მიუთითებს Anthropic-ის, გაერთიანებული სამეფოს AI Security Institute-ისა და Alan Turing Institute-ის დასკვნებზე, რომ დაახლოებით 250 მოწამლული დოკუმენტი ბექდორს უნერგავს 600 მილიონიდან 13 მილიარდ პარამეტრამდე მოდელებს, ასევე კვლევებზე, სადაც ბექდორები გადაურჩნენ უსაფრთხოების ტრენინგს ან შემდგომ სუფთა fine-tuning-ს.

დამცველებისთვის პრაქტიკული რჩევა ასეთია: გაყავით ქსელზე წვდომა ბრძანებების შესრულებისგან, ორივე მოათავსეთ sandbox-ში, დაალოგეთ ყველაფერი, რაც რომელიმე საზღვარს გადაკვეთს, შეამოწმეთ გამომქვეყნებლები და სავარჯიშო მონაცემები და, სადაც შესაძლებელია, გადაამოწმეთ წონები ბაზურ მოდელთან. კვლევამ ასევე აღნიშნა JFrog-ისა და ReversingLabs-ის მიერ Hugging Face-ზე აღმოჩენილი მავნე მოდელები, ყალბი OpenAI-ს კონფიდენციალურობის ფილტრი, რომელმაც თვრამეტ საათში 244 000 ჩამოტვირთვას მიაღწია, და Protect AI-ის სკანირება, რომელმაც 51 700 მოდელში 352 000 სახიფათო ან საეჭვო ფაილი მონიშნა.

წყაროები: projectdiscovery.io