Gemini 4 Argon vs. Claude Opus 5.5: Bağımsız testler karmaşık tablo gösteriyor

Google, 30 Eylül'de Gemini 4 Argon'u testçilerin küçük bir grubuna, benchmark tablolarıyla birlikte sundu; bu tablolara göre Argon, Claude Opus 5.5'i 18 testten 14'ünde geçti, bunlar arasında DeepSWE'de (%77,9, %74,2'ye karşı) ve GraphWalks'te 256K'dan 1 milyon token'a kadar (%84,2, %66,8'e karşı). 13 Ekim'de Google, Argon'u ücretli Gemini API geliştiricileri için açtı.

Fiyat dönemi

30 Kasım'a kadar Argon, milyon giriş token'ı için 2 dolar ve milyon çıkış token'ı için 10 dolar olacak, bu da Opus 5.5 fiyatının yarımı. 1 Aralık'ta fiyat 4 ve 20 dolara çıkacak, bu da Opus'a eşit olacak. Google ayrıca Opus'un liderlik gösterdiği alanları da yayınladı, bunlar arasında Terminal-bench 4.0'da (%66,4, %57,4'e karşı), komut satırında ajan işlevselliğini test eden bir benchmark. Yazar, benchmark'ların her zaman gerçek işe uymadığını ve yarım fiyatlı teklifin yalnızca modelin kalite olarak rakibe denk olması durumunda anlam taşıdığını belirtti.

Yazar her görevi her model için OpenRouter üzerinden, üreticilerin sunucularında ve varsayılan muhakeme ayarlarıyla yalnızca bir kez çalıştırdı. Bunlar tekrarlanan ölçümler değil, tek çalıştırmalık sonuçlardır.

Kod testleri

3500 satırlık Python kütüphanesinde hata arama testinde, 14 gizli mantık hatası ve 5 tuzak içeren bu testte her iki model de 14 hatayı da buldu ve hiçbir tuzak işaretlemedi, ardından düzelttiler ve mevcut 93 testin tamamını başarıyla geçti. Argon ortalama olarak bulunan hataya yaklaşık 1 sent, Opus ise 2,4 sent harcadı. 80 gizli testle değerlendirilen faturalandırma spesifikasyonu testinde Opus 80 testin tamamını geçti, para birimi ek testi sonrasında ise 100ün tamamını; Argon ise 80'den 11'ini ve 100'den 20'sini. Argon'un başarısızlığı, Python'un datetime.combine() fonksiyonuna fazladan bir argüman geçen tek satırlık bir hataya kadar uzandı; manuel düzeltme sonrası Argon 80/80 ve 100/100 elde etti.

Uzun bağlam ve sonuç

400 hizmetten oluşan sahte bir wiki kullanarak her iki model de üç grafik sorusundan ikisini, yalnızca kendisinin çalıştırıldığı her boyutta doğru yanıtladı. 900K belge Claude'un tokenizer'ında 1,4 milyon token tuttuğu için Anthropic API'si tarafından reddedildi; Opus 900K'da çalıştırılmadı. Belgelerin nominal boyutları iki modelde aynı token sayısına karşılık gelmiyor. Fark, bir kesintinin etki alanı sorusunda ortaya çıktı; bu soru, tek bir hizmetin düşmesi durumunda devre dışı kalan 33 hizmetin tamamını listeleme gerektiriyor. Opus 500K token'da 33'ün tamamını, 600K'da 32'sini doğru şekilde adlandırdı ve hiç yanlış kaydı yoktu; Argon ise 500K'da 20 doğru ve 8 yanlış, 600K'da 19 doğru ve 16 yanlış, 900K'da 23 doğru ve 2 yanlış verdi. Argon ayrıca yalnızca 243'ten 425'e kadar çıkış token'ı kullanırken, Opus 5000'den fazla kullandı; yanıtlar görünür muhakeme olmadan, aceleye getirilmiş şekilde sunuldu ve yazar bunu büyük bir alarm işareti olarak nitelendirdi.

Yazar, sonuçların Google'ın benchmark'larına uymadığını ve Argon'un hiçbir görevde koşulsuz olarak kullanılmayacağını söyledi. Artificial Analysis derecelendirmesinde Opus 5.5 58 puan, Argon ise 53 puan aldı. Her modelin gerçekten çalıştırıldığı testlerin toplamında Argon 423,3 saniyede 4,98 dolara mal olurken, Opus 511,0 saniyede 8,75 dolara mal oldu.

Kaynaklar: The New Stack