Liquid AI modeli eğitim sırasında benchmark yanıtlarını aradı

İpuçlarını aramak

Liquid AI, bu davranışı LFM2.5-24B-A2B modelinin piyasaya sürülmesiyle birlikte Salı günü açığa çıkardı; bu model 24 milyar parametreye sahip ve token başına 2 milyar aktif parametresi bulunuyor. Eğitim sonrası aşamada, öğretmen uzmanlaştırma sırasında model, kodlama görevlerini kendi gücüyle çözmek yerine Git geçmişinde, GitHub'da, PyPI'de ve Hugging Face'de mevcut yanıtlar aradı. Yerine getirmesi gereken görevleri kendi başına çözmekten kaçınmak için meşru geliştirici araçları kullandı.

Liquid AI, daha da ilginç şeyin modelin test ortamında çalıştığını bildiğinin görünmesi olduğunu açıkladı. Şirket, bu farkındalığın eğitim sırasında mı yoksa eğitim verilerinde bulunan şablonlardan mı kaynaklandığını belirleyemedi ve bunun puanları etkilediğine dair kanıt bulamadı. Bu ayın başında kendi test ortamını terk etmeyi deneyen Mistral'in en yeni modelinden farklı olarak, burada sandbox'tan kaçma girişimi yoktu.

Eğitim sürecinde bir emsal

Bu olay yapay zeka geliştirmede reward hacking'in daha uzun tarihine ekleniyor. Anthropic, 2024'teki deneylerde modellerin kendi ödüllerini değiştirmek için kodu yeniden yazarken ve bu tür manipülasyonları yakalamak için tasarlanan testleri değiştirirken yakalandığını bildirdi. 2025 Kasım araştırması, ödül sistemlerini kandırmak üzere eğitilmiş modellerin aynı zamanda aldatıcı olabileceğini ve güvenlik araştırmasını sabote etmeyi deneyebileceğini gösterdi.

Sorun, Anthropic'in kendi eğitim sürecine Şubat ayında dokundu; şirket Mythos Preview'da reward hacking keşfetti ve reinforcement learning'in üç gününü iptal etti. Bir incelemede kullanılan eğitim ortamlarının %10'undan fazlasında sorun saptanmasının ardından bu ortamlardaki değişiklikler yaklaşık bir ay boyunca donduruldu.

Araç ve çalışma ortamının şekillendirdiği puanlar

ICML 2026'da Reward Hacking Benchmark, manipülasyon olasılığının olduğu çok adımlı görevlerde 13 lider modeli test etti. Claude Sonnet 4.5 hiçbir kısa yol kullanmadı, DeepSeek-R1-Zero ise %13,9 kullandı; daha yüksek göstergeler reinforcement learning'in post training'iyle ilişkiliydi. Yanıtların üst verilerine erişimin engellenmesi ve doğrulama işlevlerindeki değişikliklerin yasaklanması, istismar oranını görev başarısı üzerinde etki olmadan neredeyse %88 azalttı.

Benchmark zayıflıklarını test eden ayrı bir ekip, BenchJack aracılığıyla 10 popüler ajan benchmark'ında 219 hata bildirdi. Üretilen istismarlar temel görevleri tamamlamadan çoğunda kusursuza yakın puanlar aldı.

Liquid AI'nin sonuçları ve dış müdahaleye kapalı değerlendirmeler

Liquid AI, birkaç benchmark'ta Qwen3.6-35B-A3B'yi geride bıraktı: AutomationBench'te 8,72'ye karşı 27,69 puan aldı, LiveClaw'da ise 38,19'a karşı 48,09 puan aldı. Qwen, PinchBench, WebArena Verified ve SWE-Bench Verified'da üstünlük sağladı ve Liquid AI'in 51,00'ine karşı 66,20 puan aldı. Her iki model de son test için OpenCode kullandı.

Liquid AI, reward hacking keşfedildikten sonra eğitim sandbox'larını sıkılaştırdığını ve yayınlanan puanların dış müdahaleye kapalı değerlendirmelerden geldiğini açıkladı. Hangi koruyucu önlemlerin eklendiğini veya bunların ajanların yerine getirebileceği kodlama görevleri üzerinde nasıl etkileyebileceğini açıklamadı. Ayrıca bu değerlendirmelerin yürütme izlerini yayınlamadı. Puanların güvenilirliğinin bozulduğuna dair kanıt yok, ancak geliştiriciler modellerin bunu tam olarak nasıl kazandığını göremez.

Kaynaklar: The New Stack