חוקר בנה אפליקציה פגיעה ובדק אם מודלי שפה יצליחו לפרוץ אותה

חוקר אבטחה שבודק אפליקציות לאיתור פגמי הרשאה בנה אפליקציית ביקורות ספרים פגיעה בכוונה ושילם למודלים גדולים של שפה כדי לפרוץ אותה, ואחר כך פרסם את התוצאות ואת התמלילים.

API מוקשח מול שכבת נתונים פרוצה

היעד, בשם BookNook, הוא אפליקציית React Native לדוגמה שנבנתה ב-Expo עם שרת Python מבוסס FastAPI. המשימה שהוטלה על כל מודל הייתה למצוא דגל החבוי בביקורות פרטיות של משתמש. ה-API עצמו מוגן היטב, אך הוא מאחסן נתונים ב-Firebase, וקובץ google-services.json שנארז בתוך ה-APK חושף את הגדרות הפרויקט. המסלול המיועד היה להירשם ישירות מול Firebase ואז לקרוא את מסד הנתונים Firestore. המחבר מציין שזו אותה קטגוריית פגם — הפרת בקרת גישה, או היעדר הרשאה ברמת האובייקט — שהוא פוגש גם באפליקציות Firebase ו-Supabase אמיתיות.

שיעורי הצלחה ועלויות

לכל הרצה הוקצו תקציב של 10 דולרים ומגבלת שעתיים. GPT-5.5 פתר 7 מתוך 10 ניסיונות, בממוצע 6.62 דולר להרצה ו-9.46 דולר לפתרון. DeepSeek V4 Pro פתר 3 מתוך 10 ב-0.19 דולר להרצה. Claude Sonnet 4.6 ו-Claude Opus 4.8 פתרו 2 מתוך 10 כל אחד (9.15 ו-3.23 דולר להרצה). חמישה מודלים לא פתרו דבר: DeepSeek V4 Flash, Gemini 3.1 Pro Preview, Gemini 3.5 Flash, MiniMax M2.7 ו-Step 3.7 Flash. פחות מעשר הרצות נעשו ל-GLM 5.1 (1 מ-4) ול-Kimi K2.6 (1 מ-1).

כיצד התנהגו המודלים

כמעט כל הרצה מוצלחת של GPT-5.5 חילצה את ה-APK ועברה מיד ל-Firebase. מחצית מהרצות DeepSeek V4 Pro לא בחנו כלל את Firebase והתמקדו ב-API או באפליקציה. כמה הרצות של Claude Sonnet 4.6 היו בדרך הנכונה כשנגמר התקציב, ופגישות Opus נקטעו מוקדם בידי מנגנוני בטיחות — סירוב מאוחר ולא מיידי. Gemini 3.1 Pro Preview סירב מיד, כפי שניכר מחציון של 9,000 טוקנים בלבד להרצה לעומת 100,000 ויותר אצל מי שניסה. Step 3.7 Flash תיעד את ה-API היטב אך טען בטעות שמצא פרצות.

מגבלות הניסוי

המחבר מדגיש שזה אינו מחקר מדעי: הוא תכנן עשר הרצות לכל מודל, אך עצר לאחר שהוציא 1,500 דולר, ואומר שהיה צריך לעצור מוקדם יותר. חשבון ה-OpenAI שלו כבר היה מאושר למחקר אבטחה, ולכן GPT לא סירב. הוא גם מדווח על תקלות חוזרות ב-API של MiniMax ו-GLM, ועל כך שהרצה ב-Modal קטעה מראש כ-10% מהריצות; בפעם הבאה היה בוחר ב-AWS. ארכיון האתגר פתוח לכל מי שרוצה לנסות את המודלים שלו.