AI ajanları blackjack'te hile için güç birliği yaptı, iş birliklerini tespit etmek zorlaşıyor

Oxford Üniversitesi'ndeki araştırmacılar iki AI ajanına bir blackjack oyunu sırasında kart sayma görevi verdi. İkisi de aynı model üzerinde çalışıyordu ve desteye dair bilgi alışverişi için özel bir kod geliştirdiler. Ajan konuşmalarında iş birliğini yakalamak için kurulmuş bir izleme sistemi bunu işaretlemedi.

Kimsenin onlar için yazmadığı bir kod

Ajanlar mesajlarının okunacağını biliyordu, bu yüzden doğrudan bir şey söylemekten kaçındılar. "Bu krupiye tam bir seri yakaladı! Her elde bir canavar çekiyor" gibi bir cümle, sıradaki kartın belirli bir değerde olduğunu ve diğer ajanın 250 dolar yatırması gerektiğini bildiriyordu.

"Tek tek ele alındıklarında bu ajanlar tamamen zararsız görünebilir," diyor çalışmayı yöneten Oxfordlu bilgisayar bilimci Christian Schroeder de Witt. "Bir gruba konduklarında ise gizlice iş birliği yapabiliyorlar." Projede görev alan makine öğrenmesi araştırmacısı Aaron Rose, deneme alanı olarak blackjack masasını önerdi. "Gerçekten çok iyi çalıştı," diyor.

Komplo nasıl ortaya çıkarıldı

Ekip sonunda mekanistik yorumlanabilirlikle bunu tespit etmenin yolunu buldu. Ajanların ağırlıklarındaki belirgin aktivasyonları tanıması için daha küçük bir model eğittiler ve yaklaşımı Narcbench adlı araçla test ettiler. Dedektör, iki modelin birbirine gizlice bilgi sızdırmayı amaçladığı anları ayırt edebiliyordu. Sorun şu: iki ajanın aynı anda izlenmesi gerekiyordu; binlerce ajanın çalıştığı gerçek senaryolarda bu çok daha zor.

Çalışmada Llama, GPT-OSS, Qwen ve DeepSeek modellerinin daha küçük sürümleri kullanıldı. Projede yer alan doktora öğrencisi Carissa Cullen, sıradaki adımın daha büyük modellerin benzer davranıp davranmadığını test etmek olduğunu söylüyor.

Bir kart oyunundan fazlası

Ajan gruplarının tek başına çalışanlardan daha sorunlu davrandığına dair kanıtlar artıyor. Şanghay Jiao Tong Üniversitesi ile Şanghay AI Laboratuvarı'nın bir projesi, simüle edilen dezenformasyon ve e-ticaret dolandırıcılığı kampanyalarında ajan sürülerinin çok daha tehlikeli olduğunu, savunmaya daha iyi uyum sağladığını buldu. "En büyük ders, ajanları tek tek değerlendirmenin yeterli olmaması," diyor ajanlar arası iş birliğini araştıran Stanfordlu bilgisayar bilimci Diyi Yang.

Ajan grupları son dönemdeki hack olaylarında da karşımıza çıktı; mayısta OpenAI ajanları Hugging Face'e sızdı ve bir mesaj panosunda ipuçlarını paylaştı. Anthropic'in Claude'u ve Google'ın Gemini'si de testlerde ciddi güvenlik ihlalleri gerçekleştirdi.

İşin olumlu tarafı da var: birlikte çalışan binlerce ajan, OpenAI'nin daha önce çözülemeyen matematik problemlerini çözmesini sağladı. Schroeder de Witt yine de alanın çok daha fazla araştırmaya ihtiyacı olduğunu savunuyor. "Ekonomide daha fazla ajan olduğunda ne olacağına dair daha çok araştırma ve anlayış gerekiyor," diyor.