Cloudflare, Workers AI üzerinde Sistem Bir Çıkarma Modeli Clairic’i önizliyor

Sistem Bir Modellerin Yeni Bir Sınıfı

Cloudflare, yeni bir Sistem Bir tarzı çıkarma modeli sınıfının ilk modeli olan Clairic'in bir önizlemesini duyurdu. Model, Workers AI üzerinde @cf/cloudflare/clairic olarak sunulmaktadır ve Cloudflare, modeli yakında açık ağırlıklı yayınlamayı planladığını söylüyor. Duyuru, bir ay önce TypeSafe'in System One karar modeli Jev'i tanıtmasının ardından geldi; bu kavram, Daniel Kahneman'ın Thinking, Fast and Slow kitabından alınmıştır ve System One düşüncesinin hızlı ve kesin, System Two'nun ise LLM'ler gibi bilinçli akıl yürütmeyi kapsadığını belirtir.

Çıkarma, Hesaplama, Tahmin ve Öngörü

Jev ve Clef gibi seçenek listesine karşılık olasılıklar döndüren karar modellerinin aksine, Clairic değerlerle yanıt verir: çıkarılmış, hesaplanmış, tahmin edilmiş veya öngörülmüş. Çıkarılmış değerler, karakter ofsetleri ve güven puanlarıyla birlikte aralıklar olarak döner. Sayılar, tarihler, süreler ve listeler gibi hesaplanmış değerler kendi türlerinin kurallarına uyar. Tahmin edilmiş değerler, kullanıcının belirttiği sınırlar içinde bir dağılım, medyan ve yüzde 80 aralığıyla döner. Öngörülmüş değerler, her ileri adım için kendi aralığıyla birer tahmin verir. Model hiçbir token üretmediği için Cloudflare, LLM'lerin yapabileceği gibi yanlış yazılmış yanıtlar üretemeyeceğini veya hayal kuramayacağını söylüyor, ancak yine de hata yapabilir. Çıktılar her zaman belirtilen türde bir değerdir veya model bir yanıt bulamazsa null döner.

Tek Geçiş, Çok Alan

Bir istek, bir durumdan (okunacak metin ve en fazla dört isteğe bağlı görüntü) ve her biri bir tür ve isteğe bağlı düz dil talimatları olan türü belirlenmiş alanların eşlemesinden oluşur. Her alan, akıl yürütme ve çıktı token'i olmadan tek bir ileri geçişle yanıtlandığı için model yalnızca girdi için ücret alır ve tipik olarak bir saniyeden kısa sürede yanıt verir. Alan sayısında bir sınır yoktur; eğer tek geçişte girdinin yanına sığmazlarsa, sunucu onları paralel geçişlere böler ve yanıtları birleştirir. Cloudflare, Clairic'i bir müşteri destek e-postasına, fotoğraflanmış bir fişe, benzer satışlara dayalı bir ev fiyat tahminine ve günlük TSA kontrol noktası tarama sayılarının öngörüsüne karşı gösterdi. 21 günlük TSA öngörüleri boyunca model ortalama yüzde 3,3 sapma yaptı ve 21 gerçek sayıdan 17'si modelin yüzde 80 aralığına girdi.

Karar Modelleri ve LLM'lerle Bir Ardışık Düzen

Cloudflare, çıkarma modellerini karar modelleri ve LLM'lerle yan yana bir adım olarak konumlandırdı: Clairic ham girdiyi türü belirlenmiş değerlere dönüştürür, Clef bu değerlerden kararlar alır ve bir LLM yanıtı yazar. Hasarlı ürünler için bir talepte canlı bir demo ardışık düzende, kademeli yapı tüm LLM sürümüne kıyasla 19,3 saniyede tamamlandı (61,7 saniye), yaklaşık 3,2 kat daha hızlıydı ve maliyet milyon talep başına 6.032$ iken tamamen LLM tabanlı sürümde 11.740$ oldu. Her adım bir öncekinden daha temiz, türü belirlenmiş girdi alır ve LLM yalnızca karar ve ihtiyaç duyduğu gerçekleri görür, ham e-postayı görmez.

Kaynaklar: Cloudflare