GPT-6 Astra, döngülü transformer'lar ve gizli akıl yürütme tartışması

OpenAI, eylül başında GPT-6 Astra'yı yayımladı; modeli birkaç gün içinde test eden makine öğrenmesi araştırmacısı Sebastian Raschka, onu bugüne kadar kullandığı en güçlü model olarak nitelendiriyor.

İncelemesine göre Astra, selefi GPT-5.6'yı neredeyse her alanda geçiyor: yazma, matematik, kodlama. Ancak en büyük fark grafik demolarında ve 3D render işlerinde. Mantık bulmacalarıyla genellemeyi birleştiren ARC-AGI-3 testinde model yüzde 99,9'a ulaşırken, GPT-5.6 Sol yüzde 7,8'de kalıyor.

Kuşkulu bir sınır liderliği

Bağımsız Artificial Analysis endekslerinde tablo daha ölçülü: Astra, Coding Agent Index v1.4 ve Intelligence Index v4.2'de sınırda, ama büyük farkla öne geçmiyor. Bu değerlendirmeler farklı koşum takımlarını karıştırdığı için — GDPval-AA ve AA-Briefcase için Stirrup, Terminal-Bench v2.1 için Terminus 2 — tek bir ana koşum takımına göre ayarlanmış bir model olduğundan düşük değerlendirilebiliyor.

Yeni cephe: bilgisayar kullanımı

En çarpıcı ilerleme bilgisayar kullanımında: model, ChatGPT ve Codex uygulamaları üzerinden yerel makinedeki yazılımları çalıştırıyor. İnternette dolaşan demolarda New York'un Blender'da render edilmesi ve tarayıcıdaki MS Paint'te fareyle resim yapılması var. OpenAI'nin, pekiştirmeli öğrenme sırasında macOS'u modele tanıtmak için on binlerce Mac Mini ve Mac Studio aldığı bildiriliyor: ekran görüntüleri girer, fare ve klavye eylemleri çıkar, bir koşum takımı bunları uygular ve yeni görüntüleri geri besler. Eğitimin kendisi başka yerde yürüyor — Nvidia'nın CEO'su Astra'nın yaklaşık 100 bin Grace Blackwell GPU'da eğitildiğini söyledi. Astra, doğrulanabilir ödüllü pekiştirmeli öğrenmeyle eğitilen bir akıl yürütme modeli olmayı sürdürüyor.

Döngülü transformer'lar ve gizli düşünce

Lansmandan iki gün önce The Information, Astra'nın "yinelemeli derinlik", yani döngülü transformer kullandığını yazdı. Bu tasarımlarda aynı bloklar paylaşılan ağırlıklarla birkaç kez uygulanıyor: Nanbeige4.2-3B 22 bloğu iki kez çalıştırıyor, ByteDance'in Ouro'su 48 bloğu dört kez yineliyor, Mixture-of-Recursions ise her token'ı bir ile üç geçişe yönlendiriyor. Bu hile etkin derinliği artırırken daha az ağırlık saklıyor; ancak hesaplama ve KV önbelleği maliyeti aynı derinlikteki geleneksel modele yakın kalıyor. SMELT'e göre aynı doğrulama kaybı için yüzde 6,8-18 daha az eğitim hesabı gerekiyor.

Raschka döngünün akıl yürütmeyi sakladığına kuşkuyla bakıyor. OpenAI o1'den bu yana akıl yürütme izlerinin çoğunu göstermiyor ve Astra, aynı doğrulukta GPT-5.6 Sol'dan daha az token harcıyor — bu, daha küçük modeller arasında da görülen bir örüntü (Luna benzer sonuçlar için Sol'dan yüzde 80 fazla token harcıyor) ve yorumlanabilirlik kaygısı yaratmadı. Astra'nın sistem kartı, Sol'a kıyasla izlenebilirliğin azaldığını, bunun da çoğunlukla daha kısa izlerden kaynaklandığını belirtiyor. OpenAI'ın baş bilim insanı Jakub Pachocki, sınır modellerinin hesaplama grafiğinin GPT-4'ün iki katı sınırında olduğunu söyledi ve "kafa karıştırıcı habercilikle başlatılan izlenemezlik yarışına" karşı uyardı.