Analiz: OpenAI, Jev'in teknolojisini hızla kopyalayabilir

TypeSafe'in Jev'i — üretilen metin yerine kalibre edilmiş kararlar döndüren model — hızla yayıldı: Vercel'e göre "AI Gateway tarihinde en hızlı benimsenen model". Arcturus Labs'ın 21 Eylül'de yayımladığı analiz, OpenAI'ın onu hızla kopyalayabileceğini savunuyor.

LLM'ler zaten yıllardır sınıflandırıyor

Çıkış noktası şu: Jev, geleneksel büyük bir dil modeline yakın bir yapı üzerinde çalışıyor — Latent Space'e göre erken Jev kopyalarının çoğu da LLM tabanlı. Bu okumaya göre Jev tek bir adımda bir sonraki tokenın olasılık dağılımını okuyor: evet/hayır sorusu true ve false tokenlarının göreli olasılıklarına indirgeniyor, seçenek sorusu ise adlandırılmış seçeneklere.

OpenAI, tool calling çıktığından beri bunun daha dar bir sürümünü yapıyor: içeride, assistant başlığından sonra gelen ilk token bir aracın çağrılıp çağrılmayacağına karar veriyor, sonraki tokenlar hangi aracın seçileceğini belirliyor. Yazarın notuna göre bunlar uzman sınıflandırıcılar; Jev'inki ise genel olmak zorunda.

Hendek: eğitim verisi ve RL

Analize göre mimari pek koruma sağlamıyor; asıl hendek TypeSafe'in eğitim verisi ve sürecinde. X'te kurucu ortak Diogo Almeida, şirketin kendisini "bir veri araştırma laboratuvarı" olarak gördüğünü, verinin ise "gerçekten genel" (bir tür bilişsel çekirdek) ve "%100 sentetik" olduğunu söyledi.

Yazar, böyle bir veri kümesinin durumları bilinen sonuçlarla eşleştirdiğini tahmin ediyor böylece model alan bilgisi yerine genel kalibrasyon öğreniyor. Ancak tüm bunlar, Jev gerçekten doğru değilse bir hendek sayılmaz: yazar olasılıkların tutmadığı alanlar bulduğunu söylüyor.

OpenAI'ın muhtemel hamlesi

Bariz yol Jev'i kopyalayıp yeni bir model türü sunmak; OpenAI'da yetenek ve kaynak var. Daha ilginç yol ise sınıflandırmayı normal bir LLM'in içine gömmek: model, düşünme akışının ortasında <prediction> gibi bir etiket üretebilir; sunum katmanı bu konumdaki true ve false logit'lerini okuyup sonucu metin olarak geri yazar.

Bu, modelin düşünürken kendi varsayımlarını denetlemesini, güvenli olmayan bir araç çağrısını ya da prompt injection girişimini işaretlemesini ve işi büyük ile küçük modeller arasında yönlendirmesini sağlar.

TypeSafe için anlamı

Hendek gerçekten kopyalanması zorsa TypeSafe muhtemelen ayakta kalır ve hatta rekabette kaybetmek yerine OpenAI tarafından satın alınabilir; hendek inceyse TypeSafe'in penceresi hızla kapanır. Almeida'nın Latent Space'e söylediği gibi: "Model kalitesi önemliyse, uzun süre çok iyi bir konumda olacağız."