TypeSafe AI, System One modellerini ve Jev'i tanıttı

İki yıl boyunca gizli modda çalışan TypeSafe AI, ilk System One modelini duyurdu: yazılımın doğrudan kullanabileceği hızlı ve yapılandırılmış kararlar almak üzere tasarlanmış yeni bir öncü model sınıfı. İlk kamuya açık model Jev, erken erişimde sunuluyor. Duyuruyu, daha önce OpenAI'da dil modellerini talimat izlemede kullanışlı kılan yöntemler üzerinde çalışan kurucu Diogo Almeida kaleme aldı.

Metinden tipli kararlara

Jev metin üretmiyor. Çıktıları, biçimi ve olası yanıtları önceden tanımlanmış, tip güvenliği olan yapılandırılmış değerler; bu yüzden model tip hatası yapamıyor ve şirkete göre bu garanti ampirik değil matematiksel. Her yanıt kalibre edilmiş olasılıklar ve güven skorlarıyla birlikte geliyor. Almeida modeli öncü zekânın fonksiyon çağrısı olarak tanımlıyor: içeri yapılandırılmamış durum, dışarı tipli olasılıksal kararlar.

TypeSafe'in savı, otomasyonun darboğazının zekâ değil arayüz olduğu yönünde. Bir metin çıktısı sohbet yanıtı, kod, ret ya da halüsinasyon olabilir ve onu tüketen her yazılım sonucu ayrıştırıp doğrulamak zorundadır. Çıktı kısıtlandığı için Jev'in sıradan koda bulanık bir karar kuralı olarak girmesi amaçlanıyor: elle yazılmış mantığın fazla kırılgan kaldığı yerde sınıflandırmak, yönlendirmek, puanlamak, çıkarmak ya da dallanmak.

RLCD, paralel örnekleyici ve açıklanan sayılar

Yığın yeni bir mimari, paralel bir örnekleyici ve şirketin Reinforcement Learning for Calibrated Decisions dediği eğitim yöntemi üzerine kurulu; sohbet modellerinde kullanılan insan geri bildirimi ve doğrulanabilir ödül temelli pekiştirmeli öğrenme yerine bu kullanılıyor. Açıklanan fark ölçekte: Jev tüm çıktıları tek sorguda döndürüyor, token token üretmiyor. TypeSafe milyon giriş token'ı için 0,042 dolar fiyat, çıkış token'ları için ücretsiz ve uçtan uca 70-500 milisaniye yanıt süresi yayımlıyor; öncü modellerde bu süre 3-329 saniye, yani 40 ila 200 kat hızlanma.

Şirketin ana sayfasında 193,6 kat hızlı ve 444,6 kat ucuz rakamları yer alıyor; bu sayılar her modelin aynı hesaplama grafiğini aldığı ve tahminlerin iki referans modelin ortalamasıyla karşılaştırıldığı iş akışı değerlendirmelerinden geliyor. TypeSafe, iş akışlarını kendi yetenek ekibinin hazırladığını, referans yanıtların OpenAI ve Anthropic modellerine meyilli olduğunu ve bu yüzden kendi sonuçlarına temkinli yaklaşılması gerektiğini belirtiyor.

Demolar ve isim

Ekip, Jev'i yapılandırılmış oyun durumundan saniyede yaklaşık on sorguyla ve saatte yaklaşık 7 dolara Doom oynarken, ayrıca her adımın yüzlerce ya da binlerce bağlantı arasından seçim yapmak anlamına geldiği Wikiracing oyununda gösterdi; 255'in üzerindeki seçeneklerde model önce puanlayıp sonra seçim yapan iki aşamalı bir düzen kullanıyor. İsimler model sınıfı için Daniel Kahneman'ın Hızlı ve Yavaş Düşünme kitabından, Jev için ise daha ucuz kömürün kömür tüketimini azaltmadığını söyleyen paradoksun sahibi iktisatçı William Stanley Jevons'tan geliyor. TypeSafe zekâ için de aynı bahse giriyor: maliyetteki her mertebe düşüşü yeni kullanım alanları açıyor.