GPT-6.1 Terra ve Claude Opus 5.5 Üç Kodlama Görevinde Karşılaştırıldı

OpenAI, 26 Ekim'de GPT-6.1 Terra'yı piyasaya sürdü ve pazarlama materyallerinde Claude Opus 5.5 ile karşılaştırdı. Üç ayrı sentetik testte Terra, sürüm önceliklendirme görevinde Opus ile berabere kaldı, hücre soyunda daha yüksek puan aldı ve Opus'un tamamlayamadığı bir CI geçmişi denetimini tamamladı; tahmini önbelleksiz token maliyetleri çok daha düşüktü.

OpenAI'ın iddiaları

OpenAI, Terminal-Bench-Science 0.1 üzerinde Terra'nın Opus 5.5'ten beş yüzde puan içinde kaldığını, yedeklerin tahmini maliyetin beşte birinden az olduğunu söyledi. En yüksek çaba düzeyinde Terra'yı Opus'tan üç kattan fazla token verimli ve standart giriş ve çıkış token'ları için dörtte bir fiyatlı olarak tanımladı; görev başına tahmini maliyet yaklaşık dokuzda biriydi. Agents' Last Exam'de Terra görev başına $1.01 maliyetle %60.0, Opus $8.82 maliyetle %63.2 puan aldı; bu 3.2 yüzde puanlık fark ve 8.73'e 1 maliyet oranıydı. Terra için standart önbelleksiz API fiyatları milyon giriş token'ı başına $1 ve milyon çıkış token'ı başına $5; Opus 5.5 için $4 ve $20.

Sürüm önceliklendirme

Altı kök neden, kararsız test tuzakları ve güvenlik ayarlarını aşmaya yönelik yerleştirilmiş talimatlar içeren 50 puanlık sürüm önceliklendirme testinde her iki model de 50 puan aldı. Her ikisi de altı kök nedenin tümünü buldu, doğru pull request'leri geri aldı, en eski açık issue'yu yeniden kullandı ve yerleştirilmiş talimatları yok saydı. Opus 102 kez URL yazarken Terra bunu 23 kez yaptı ve çoğunlukla tıkladı. Opus yaklaşık beş kat daha fazla çıkış token'ı yazdı. Terra'nın tahmini önbelleksiz token maliyeti Opus'un yaklaşık %17.1'i kadardı; bu 5.83'e 1 oranına denk gelir.

Hücre soyu ve CI denetimi

50 puanlık hücre izleme testinde Terra 48, Opus 43.5 puan aldı. Terra 20 bölünmenin tümünü eşleştirdi ve 10 özet sorunun tümünü yanıtladı; Opus iki bölünmeyi kaçırdı, gerçekleşmeyen bir bölünmeyi bildirdi ve toplam bölünme sayısını ve çerçeveden çıkan hücreleri yanlış saydı. Her ikisi de 20 son hücreden ikisini yanlış başlangıç hücresine atadı. Terra yaklaşık 15 dakikada 37 turda 30 kez kod çalıştırdı; Opus yaklaşık 36 dakikada 129 turda 96 kez kod çalıştırdı. Terra'nın tahmini önbelleksiz token maliyeti Opus'un yaklaşık 24'te biri kadardı. Araçsız yaklaşık 1,200 satırlık CI sonuçları denetimindeki 50 soruluk testte Terra 47 puan aldı. İki durum sayımında birer hata yaptı ve veriler GPU çalıştırıcılarını kapsamadığı için bir GPU çalıştırıcı sorusuna $0 yanıtı verdi. Opus, 128,000 token'lık çıktı sınırına ulaşmadan önce nihai yanıt üretmedi. Terra 56,959 giriş ve 61,539 çıkış token'ı kullandı; tahmini maliyeti $0.36 oldu. Opus 72,460 giriş ve 128,000 çıkış token'ı kullandı; tahmini maliyeti $2.85 oldu. 3,920 satırlık daha eski bir sürümde her iki model de o sınıra ulaşmadan önce nihai yanıt üretmedi.

Maliyetler ve uyarılar

Üç nihai çalıştırma boyunca Terra 25,292,559 giriş ve 138,611 çıkış token'ı kullandı; tahmini önbelleksiz maliyeti $25.99 oldu. Opus 51,895,447 giriş ve 369,032 çıkış token'ı kullandı; maliyeti $214.96 oldu. Bu, Opus'un maliyetinin yaklaşık %12.1'i, yani 8.27'ye 1 oranına denk gelir. Önbellekli tahmini maliyetler $2.51 ve $21.52 oldu. Terra'nın toplam geçen süresi 2,418 saniye, Opus'un 3,962 saniyeydi. Yazar, satıcıların API'leri üzerinden her model için nihai testi en yüksek çaba düzeyinde bir kez çalıştırdı, daha önceki sonuçlardan sonra testleri değiştirdi ve sonuçların tekrarlanabilirliği veya ortalama performansı ortaya koymadığını söyledi. Sonuçlar ayrıca çaba ayarlarının etkisini de ayırt etmiyor ve Anthropic, Opus 5.5'i varsayılan orta çaba düzeyinde başlatmayı önerir.

Sources: The New Stack