OpenAI bu yıl bir ya da iki model yayımlamayı planlıyor; amiral gemisi için hâlâ hizalama çalışması gerekiyor

Model yayımlama takvimi

OpenAI, The Information çalışanlarının aktardığına göre yıl sonuna kadar “bir ya da iki yeni model” yayımlamayı planlıyor. Bunlar arasında şirketin güncellenmiş amiral gemisi olup olmayacağı belirsiz. Amiral gemisinin, OpenAI araştırmacıları ve kullanıcılarının beklediği hedeflerle uyumlu hale getirilmesi için hâlâ hizalama çalışması gerekiyor; şirket ayrıca modelin test altyapısını güçlendirmeli.

Başkan Donald Trump’ın, gelişmiş yapay zekâ sistemlerinin değerlendirmesini düzenleyen yönergesine göre OpenAI, ABD hükümetine yeni modellere dış ortaklardan 30 güne kadar erken erişim sunmayı kabul etti; kamuya açık sürümden ise daha da önce.

Looped transformer’lar ve güvenlik

Amiral gemisi, OpenAI’nın mevcut üst modeli Astra’nın kullandığı aynı looped transformer tekniğini kullanıyor; bu yöntem “Recurrent Depth” olarak adlandırılıyor. Model, bir token’ı transformer katmanlarından bir kez geçirmek yerine, sonraki kelimeyi üretmediği sürece aynı katmanlarda birkaç kez işler. Bu yaklaşım matematik ve kodlama sonuçlarını güçlendiriyor; küçük bir model kendi ağırlık kapasitesinden daha fazlasını yapabildiği için maliyet azalıyor.

Buna karşılık denetim zorlaşıyor. Döngülerde işlem, modelin “düşüncesinin” kısmını okunabilir metinden insan denetçilerinin göremediği dahili sayısal temsilere çeviriyor; bu da düşünce zincirinin izlenmesini zayıflatıyor. OpenAI, Astra’nın döngü sayısını sınırlayarak düşünce zincirinin okunabilir kalmasını hedefledi. Baş bilim insanı Jakub Pachocki, düşünce zincirinin izlenmesinin giderek daha “kırılgan” hâle geldiğini ve “ne yazık ki olumsuz yönde ilerlediğini” kabul ederek endüstriyi, okunabilir muhakemesi olmayan modellerin yarışına girmemesi konusunda uyardı.

Hesaplama gücünün yeniden dağıtımı ve Microsoft’ın sızıntısı

Hugging Face olayının ardından OpenAI, toplam hesaplama gücünün yaklaşık yüzde 10’unu hizalama ve güvenliğe yeniden ayırdı; bu verilere yakın bir kişi söyledi. Bu, veri merkezlerinin yüzlerce megawatt kapasitesine denk geliyor, ancak şimdiye kadar güvenliğe ayrılan miktar ve yeni dağıtımın görünümü belirsiz. Piyasa tarifeleriyle bu hesaplama gücü yılda milyarlarca dolar tutuyordu. Yapay zekâ araştırmacısı Noah Brown, Eylül ortasında bir podcast’te ekibinin yaklaşık yüzde 10’unun güvenlik ve savunma üzerinde çalıştığını söyledi.

Microsoft, OpenAI’nin fikri mülkiyetine erişimi olan büyük bir yatırımcı olarak bu tekniğin nasıl çalıştığını yanlışlıkla ortaya çıkardı. Bu ayın başında yayımlanan Astra’nın daha ucuz alternatifi GPT-6.1 Sol için teknik incelemenin artık silinmiş bölümünde Microsoft, modelin aynı sorunu birkaç “geçitte” işlediği “looping inference” yöntemini anlattı. Sayfada GPT-6.1 Sol’ün “GPT-6 Sol ile aynı temel model ağırlıklarını kullandığını, ancak üç inference geçidi yerine iki inference geçidiyle çalıştığını” yazıyordu. Microsoft, bunun herkese açık olmaması gerektiğini anlayınca bölümü sildi.

Kaynaklar: The Decoder