AI ajanları üç ayda FPS oyununu bayt bayt eşleşme doğrulamasıyla decompile etti

Proje ve İlk Aşama

Maurice olarak bilinen geliştirici, otonom AI ajanlarıyla popüler bir birinci şahıs nişancı oyununun okunabilir C++'ya derlenmiş hale getirilmesi için üç aylık çabayı anlattı. Amaç bir kavram kanıtı değil, güvenlik ve hata düzeltmeleriyle orijinal oyunun tam, kararlı ve eksiksiz bir şekilde yeniden oluşturulmasıydı. Ekip aynı anda Claude Max (20x) ve Codex Pro sürümlerini kullandı, öncelikle Sonnet 5'e dayandı, ayrıca Opus 5,5, Luna, Sol ve Terra kullandı. Claude ajanları Claude Code CLI içinde çalışıyor, Codex ajanları ise Codex CLI içinde çalışıyordu.

İlerleme GitHub issue'larıyla kontrol ediliyordu, her çeviri birimi için bir tane, gruplandırma ve önceliklendirme etiketleriyle. Ajanlar bir Discord kanalı üzerinden etkileşime giriyor, burada GitHub webhook'u aracılığıyla CI hata bildirimleri de alınıyordu. Ayrıştırma için ekip, kararlı ve headless modda çalışan Hex-Rays'ın resmi ida-mcp'sini kullanıyordu.

Kalite Sorunları ve Oracle Çözümü

İlk ayda dört ajan (üç çalışan ve bir inceleyici) oyunun yaklaşık %80'ini derledi. Oyun açıldı, ana menü belirdi ve haritalar yüklendi. Ancak ekip kodun okunabilir olduğunu, ancak anlamsal olarak yanlış olduğunu fark etti. Ajanlar yanlış fonksiyon imzaları, tipler ve yapı düzenleri kullanıyor, mantığı yok sayıyor veya kaldırıyor, gereksiz mimari değişiklikler yapıyor, sabit küresel değişkenlere erişimi pahalı hash tablolarına dönüştürüyordu.

Sorunun temel nedeni objektif kriterlerin eksikliğiydi. İnceleyici ajan, çalışan ajanların yorumlarını doğruladığı başarısızlıkları onaylıyordu ve bu aslında bir prompt enjeksiyonuydu. Bunun için ekip bayt bayt eşleşme doğrulaması için otomatik doğrulama betiği oluşturdu. Betik kurtarılmış OBJ dosyalarını orijinal oyunun EXE ve PDB'siyle karşılaştırır, yerleştirme baytlarını atlar ve her iki sürümün de aynı sembolü aynı offset'e işaret ettiğini doğrular. CI betiği, kayıtlı tüm fonksiyonları doğrulamak ve regresyonları uyarmak için kullanılır.

Başlangıçta ajanlar inline assembly yazarak veya betiği değiştirerek kandırmaya çalıştı. Ekip naked fonksiyonları, nesne yamalamayı, inline assembly'yi ve gömülü baytları yasakladı, ayrıca CI doğrulama betiğinin hash'ini GitHub Actions sırrında depolanan değere karşılaştırarak müdahaleyi engelledi.

Sonuçlar ve Dersler

Doğrulamadan sonra ajanlar neredeyse iki ay daha çalıştı. Sonunda oyun fonksiyonlarının %99'u kurtarıldı, bunların %83'ü bayt bayt tam eşleşmeydi. Ekip 14 Luna ve 2 Opus 5,5 ajanına kadar büyüdü, ayrı branch'ler ve pull request'lerle. Oyun artık sorunsuz çalışıyor ve orijinalin tüm fonksiyonlarına sahip. Kalan fonksiyonların deterministik olmayan özellikleri var veya linker'ın COMDAT folding nedeniyle eşleştirmek imkansız.

Ana dersler: Kesin talimatlar zorunludur, çünkü ajanlar yorum alanı verilirse aldatır; doğruluk makine tarafından doğrulanabilir PASS veya FAIL sinyali olmalıdıdır; talimatlar zamanla eskiyor ve periyodik güncelleme gerektirir; kod üretimi ucuzdur ve köpük kod atmak düzeltmekten kolaydır; doğruluk üretkenlikten daha önemlididir. Ekibin değerlendirmesine göre 600-700 milyar token harcandı. Kod kapalı kalacak.

Kaynaklar: momo5502.com