Featherless neden pizza teslim etmek için tank gerekmediğini söylüyor

Çıkarım hizmetleri sağlayıcısı Featherless, açık kaynaklı Simple Jev kütüphanesini yayımladı. Bu kütüphane açık modelleri, girdi verilerini örnek olmadan kategorilere ayırabilen hızlı sınıflandırıcılara dönüştürüyor.

Simple Jev, bu ay TypeSafe tarafından yayımlanan kapalı kaynak metin sistemi Jev'e dayanıyor ve yapılandırılmış karar işlevini açık modellere de taşıyor. Uygulamalar girdiyi değerlendirip konuşma metni üretmeden bir kategori veya iki seçenekten birini döndürebilir.

Pizza teslim etmek için tank gerekmez

Featherless CEO'su Eugene Cheah'a göre, kullanıcı isteğini sınıflandırmak gibi sıradan bir görev için frontier model kullanmak “pizza teslim etmek için tank göndermeye” benzer: araçlar gereğinden fazladır.

“Pizza tankı yine de yerine ulaşır, ama yavaştır, pahalıdır ve yanlış taşıt türüdür” diyor. “İşletmeler hızlı tepkiye ihtiyaç duyar ve bu, endüstrinin uzun süre görmezden geldiği farklı bir AI türüdür.”

Cheah, büyük kapalı modellerin bu görevleri yerine getirebileceğini kabul ediyor, ancak onların bu iş için yanlış araç olduğunu düşünüyor: yanıtı, trilyonlarca parametreli LLM'ler aracılığıyla metin üreterek elde ediyorlar ve bunun frontier maliyeti var. Simple Jev yanıtı “yazmaz”: modeli seçim yaptığı noktada durdurur, her seçeneğin puanını okur ve olasılıkları çıkarır.

Görsellerle çalışma şimdilik yalnızca Gemma ve Qwen modellerinde.

Örnek gerektirmeyen sınıflandırıcı nedir

Bu tür sistemler, girdi verilerini ayrıca eğitilmedikleri kategorilere ayırmak için önceden eğitilmiş dil modellerini kullanır. Cheah'a göre sınıflandırıcılar yeni değil; üniversitelerde bu, ChatGPT ortaya çıkmadan önce öğretiliyordu; yeni olan, iyi geliştirilmiş zero-shot API'dir.

Ona göre herhangi bir AI/ML mezunu Simple Jev'i tek cümleyle çoğaltabilir; kod GitHub'da yayımlandı, bu yüzden yüzlerce açık Jev klonu bekliyor.

Fiyatlar ve açık modeller argümanı

Featherless, geliştiricilerin sınıflandırma modellerini API anahtarı olmadan test edebilmesi için ücretsiz genel uç noktalar da açıyor; demo 2 000 token bağlamı ve saniyede iki istekle sınırlı. Üretim için fiyat, milyon giriş token'ı başına 0,03 dolardan başlıyor, çıkış token'ları ücretsiz; TypeSafe'in Jev fiyatı 0,042 dolar.

Cheah'ın tahminine göre bir görselin veya metin paragrafının sınıflandırılması 500 ila 1 200 token tüketiyor; yani milyon token başına 0,03 dolar fiyatla tek karar yaklaşık üç binde bir sente mal oluyor. Featherless, endüstriyi “monolitik evrensel modeller”den vazgeçmeye çağırıyor.

Şirket bu adımı daha geniş bir bağlama oturtuyor: OpenAI, CLIP'i 2021'in başında tanıttı; Microsoft Florence-2'yi ise 2024 yazında. Simple Jev GitHub'da mevcut.