OpenAI, Broadcom ile geliştirdiği ilk özel çıkarım çipini tanıttı: Jalapeño

OpenAI çarşamba günü Broadcom ile işbirliği içinde tasarlanıp üretilen ilk özel çıkarım (inference) işlemcisini tanıttı. Jalapeño adı verilen çip, şirketin açıklamasına göre doğrudan OpenAI'ın çıkarım sistemlerinin ihtiyaçlarına göre tasarlandı. Geliştirme sürecine OpenAI'ın kendi yapay zekâ modelleri de katkı verdi.

İlk sonuçlar ve test süreci

İşlemci hâlâ test aşamasında. OpenAI, ilk sonuçların mevcut en gelişmiş alternatiflere kıyasla watt başına performansta belirgin biçimde daha iyi olduğunu gösterdiğini söylüyor; bu ölçüt modellerin ölçekli biçimde sunulmasının maliyetine doğrudan yansıyor.

Broadcom ile ortaklık ekim ayında resmen duyurulmuştu, ancak OpenAI'ın kendi silikonunu üretme planları Nvidia GPU'larına bağımlılığı azaltmanın bir yolu olarak uzun süredir konuşuluyordu. Benzer amaçla özel çip üretenler arasında Google ve Amazon da var; bunlara yapay zekâ hızlandırıcıları deniyor ve makine öğrenimi iş yüklerini hızlandırmak için tasarlanıyorlar.

Eğitim için değil, çıkarım için

Jalapeño çıkarım için tasarlandı: yani önceden eğitilmiş modellerin kullanıcı isteklerine yanıt olarak çalıştırılması. OpenAI duyurusunda çipin gerçek zamanlı kodlama modellerini çalıştırırken düşük işletme maliyetini öne çıkardı. Ön eğitim gibi daha yoğun işler büyük olasılıkla Nvidia donanımına bağlı kalacak, ancak çıkarım maliyetlerindeki küçük düşüşler bile şirketin ekonomisine katkı sağlıyor.

OpenAI Başkanı Greg Brockman, Broadcom ortaklığının duyurulmasından kısa süre sonra şirketin kendi podcast'inde çip geliştirme yaklaşımını anlattı. "İş yükünü derinlemesine anlıyoruz" dedi Brockman. "Gerçekten yeterince hizmet verilmeyen belirli iş yüklerini arıyorduk ve şunu soruyorduk: mümkün olanı hızlandırabilecek bir şeyi nasıl inşa edebiliriz?"

Yığının tamamında optimizasyon

OpenAI hâlihazırda Codex gibi ajan tabanlı ürünleri, bu ürünleri çalıştıran modelleri ve modelleri barındıran veri merkezlerini inşa ediyor. Amaca özel çipler bu çalışmayı yığının daha alt katmanlarına taşıyor. Şirket, "OpenAI yalnızca sınır modelleri geliştirmiyor ya da onların üzerine ürünler kurmuyor; altlarındaki altyapıyı da tasarlıyor: çip mimarisi, çekirdekler, bellek sistemleri, ağ, zamanlama, dağıtım sistemleri ve ürün deneyimi" ifadelerini kullandı. "OpenAI yığının tamamında çalıştığı için her katman aynı hedef etrafında optimize edilebiliyor: modellerini kullanıcılar için daha hızlı, daha güvenilir ve daha uygun maliyetli hale getirmek."