Bir araştırmacı açık bıraktığı uygulamayı dil modellerine kırdırmayı denedi

Uygulamaları yetkilendirme açıkları için test eden bir güvenlik araştırmacısı, bilerek güvenlik açığı bırakılmış bir kitap inceleme uygulaması geliştirdi ve büyük dil modellerine onu kırmaları için ödeme yaptı; ardından sonuçları ve oturum dökümlerini yayımladı.

Sertleştirilmiş API, zayıf veri katmanı

BookNook adlı hedef, Expo ile geliştirilmiş örnek bir React Native uygulaması ve Python tabanlı FastAPI arka ucundan oluşuyor. Her modelden, bir kullanıcının özel incelemelerinde saklı bir bayrağı (flag) bulması istendi. API'nin kendisi iyi korunuyor, ancak verileri Firebase'de saklıyor ve APK'nın içinde gelen google-services.json dosyası projenin Firebase yapılandırmasını açığa çıkarıyor. İzlenmesi gereken yol, doğrudan Firebase'e kaydolup Firestore veritabanını okumaktı. Yazar, bunun gerçek Firebase ve Supabase uygulamalarında da karşılaştığı aynı açık kategorisi olduğunu belirtiyor: erişim denetimi ihlali ya da nesne düzeyinde yetkilendirme eksikliği.

Çözüm oranları ve maliyetler

Her koşuya 10 dolar bütçe ve iki saat sınırı tanındı. GPT-5.5 on denemenin yedisini çözdü; koşu başına ortalama 6,62 dolar, çözüm başına 9,46 dolar. DeepSeek V4 Pro on denemenin üçünü koşu başına 0,19 dolarla çözdü. Claude Sonnet 4.6 ve Claude Opus 4.8 ise 10'da 2'de kaldı (koşu başına 9,15 ve 3,23 dolar). Beş model hiç çözemedi: DeepSeek V4 Flash, Gemini 3.1 Pro Preview, Gemini 3.5 Flash, MiniMax M2.7 ve Step 3.7 Flash. On koşunun altında test edilenler arasında GLM 5.1 (4'te 1) ve Kimi K2.6 (1'de 1) vardı.

Modeller nasıl davrandı

GPT-5.5'in başarılı koşularının neredeyse tamamı APK'yı açıp doğrudan Firebase'e yöneldi. DeepSeek V4 Pro koşularının yarısı Firebase'e hiç bakmadı, yalnızca API ve uygulama üzerinde çalıştı. Claude Sonnet 4.6'nın birkaç koşusu doğru yoldayken bütçe tükendi; Opus oturumları ise güvenlik filtreleri tarafından erken sonlandırıldı — baştan değil, geç reddetmeler. Gemini 3.1 Pro Preview hemen reddetti; bu, deneyen modellerde 100.000'in üzerindeki token sayısına karşılık koşu başına medyan 9.000 tokenden görülüyor. Step 3.7 Flash API'yi titizlikle haritaladı ama açık bulduğunu yanlış biçimde iddia etti.

Deneyin sınırları

Yazar bunun bilimsel bir değerlendirme olmadığını vurguluyor: model başına on koşu hedeflemiş, ancak 1.500 dolar harcadıktan sonra durmuş ve daha erken durması gerektiğini söylüyor. OpenAI hesabı güvenlik araştırması için önceden onaylıydı, bu yüzden GPT hiç reddetmedi. Ayrıca MiniMax ve GLM API'lerinde sık kesintiler yaşadığını, koşuları Modal üzerinde çalıştırmanın koşuların yaklaşık %10'unu önceden kestiğini ve bir dahaki sefere AWS kullanacağını belirtiyor. Mücadele arşivi kendi modellerini denemek isteyenler için açık.