Հետազոտողը խոցելի հավելված ստեղծեց և ստուգեց՝ կկոտրե՞ն այն լեզվական մոդելները

Անվտանգության հետազոտողը, որը ստուգում է հավելվածները լիազորության խոցելիությունների համար, դիտավորյալ խոցելի գրախոսությունների հավելված ստեղծեց և վճարեց խոշոր լեզվական մոդելներին՝ այն կոտրելու համար, ապա հրապարակեց արդյունքներն ու սղագրությունները։

Ամրացված API՝ թույլ տվյալների շերտով

BookNook անունով թիրախը Expo-ում կառուցված React Native ցուցադրական հավելված է՝ Python-ով գրված FastAPI բեքենդով։ Յուրաքանչյուր մոդելի խնդիր էր տրված գտնել օգտատիրոջ անձնական գրախոսություններում թաքցված դրոշակը։ API-ն ինքնին լավ պաշտպանված է, սակայն տվյալները պահում է Firebase-ում, իսկ APK-ի ներսում գտնվող google-services.json ֆայլը բացահայտում է նախագծի Firebase կոնֆիգուրացիան։ Նախատեսված ուղին էր ուղղակիորեն գրանցվել Firebase-ում, ապա կարդալ Firestore տվյալների բազան։ Հեղինակը նշում է, որ սա նույն խոցելիության կատեգորիան է՝ հասանելիության վերահսկման խախտում կամ օբյեկտի մակարդակով լիազորման բացակայություն, որը նա հանդիպում է նաև իրական Firebase և Supabase հավելվածներում։

Լուծումների մակարդակը և ծախսերը

Յուրաքանչյուր գործարկում ուներ 10 դոլար բյուջե և երկու ժամ սահմանափակում։ GPT-5.5-ը լուծեց 10 փորձից 7-ը՝ միջինը 6.62 դոլար գործարկման և 9.46 դոլար լուծման համար։ DeepSeek V4 Pro-ն՝ 3-ը 10-ից՝ 0.19 դոլար գործարկման համար։ Claude Sonnet 4.6-ը և Claude Opus 4.8-ը՝ 2-ական 10-ից (9.15 և 3.23 դոլար գործարկման համար)։ Հինգ մոդել զրո արդյունք տվեց՝ DeepSeek V4 Flash, Gemini 3.1 Pro Preview, Gemini 3.5 Flash, MiniMax M2.7 և Step 3.7 Flash։ Տասից պակաս գործարկում ունեցան GLM 5.1-ը (1-ը 4-ից) և Kimi K2.6-ը (1-ը 1-ից)։

Ինչպես էին վարվում մոդելները

GPT-5.5-ի գրեթե բոլոր հաջող գործարկումները բացում էին APK-ն և անմիջապես անցնում Firebase-ին։ DeepSeek V4 Pro-ի գործարկումների կեսը ընդհանրապես չէր դիտարկում Firebase-ը՝ կենտրոնանալով միայն API-ի և հավելվածի վրա։ Claude Sonnet 4.6-ի մի քանի գործարկումներ ճիշտ ուղու վրա էին, երբ սպառվեց բյուջեն, իսկ Opus-ի սեսիաները վաղաժամ դադարեցրին անվտանգության զտիչները. մերժումը ուշ էր, ոչ թե անմիջապես։ Gemini 3.1 Pro Preview-ն անմիջապես մերժեց, ինչը երևում է գործարկման համար ընդամենը 9 000 թոքենի մեդիանայից՝ ի տարբերություն փորձող մոդելների 100 000-ից ավելիի։ Step 3.7 Flash-ը մանրամասն քարտեզագրեց API-ն, սակայն սխալմամբ հայտարարեց խոցելիություններ գտնելու մասին։

Փորձի սահմանափակումները

Հեղինակը ընդգծում է, որ սա գիտական գնահատում չէ. նա նպատակադրել էր մոդելի համար տասը գործարկում, սակայն դադարեցրեց 1 500 դոլար ծախսելուց հետո և ասում է, որ ավելի վաղ պետք է կանգ առներ։ OpenAI-ում նրա հաշիվը նախապես հաստատված էր անվտանգության հետազոտությունների համար, այդ իսկ պատճառով GPT-ը մերժումներ չտվեց։ Նա նաև հայտնում է MiniMax-ի և GLM-ի API-ի հաճախակի խափանումների մասին և նշում, որ Modal-ում աշխատեցնելը վաղաժամ ընդհատեց գործարկումների մոտ 10%-ը. հաջորդ անգամ կընտրեր AWS-ը։ Մարտահրավերի արխիվը հրապարակային է բոլոր ցանկացողների համար։