Featherless niyə pizza çatdırmaq üçün tank lazım olmadığını deyir

İnferens xidmətləri provayderi Featherless açıq kodlu Simple Jev kitabxanasını buraxdı. O, açıq modelləri giriş məlumatlarını nümunələr olmadan kateqoriyalara bölə bilən sürətli təsnifatçılara çevirir.

Simple Jev bu ay TypeSafe tərəfindən buraxılmış Jev-ə, qapalı kodlu mətn sisteminə əsaslanır və strukturlaşdırılmış qərar funksiyasını açıq modellərə də yayır. Tətbiqlər giriş məlumatlarını qiymətləndirib söhbət mətni yaratmadan kateqoriya və ya iki variantdan birini qaytara bilər.

Pizza çatdırmaq üçün tank lazım deyil

Featherless-in baş direktoru Eugene Cheah-a görə, istifadəçi sorğusunun təsnifatı kimi adi tapşırıq üçün frontier modeldən istifadə etmək “pizza çatdırmaq üçün tank göndərmək” kimidir: alətlər artıqdır.

“Pizza tankı yenə yerinə çatacaq, amma yavaşdır, bahadır və yanlış nəqliyyat vasitəsidir”, — deyir o. “Biznesə sürətli reaksiya lazımdır və bu, sənayenin uzun müddət laqeyd qaldığı fərqli AI növüdür”.

Cheah böyük qapalı modellərin bu tapşırıqları yerinə yetirə biləcəyini qəbul edir, lakin onların bu iş üçün yanlış alət olduğunu düşünür: onlar cavabı trilyonlarla parametrə malik LLM-lər vasitəsilə mətn yaratmaqla əldə edir və bunun frontier qiyməti var. Simple Jev cavabı “yazmır”: o, modeli seçim etdiyi yerdə dayandırır, hər variantın balını oxuyur və ehtimalları çıxarır.

Şəkillərlə iş hələlik yalnız Gemma və Qwen modellərindədir.

Nümunə tələb etməyən təsnifatçı nədir

Belə sistemlər giriş məlumatlarını ayrıca öyrədilmədikləri kateqoriyalara bölmək üçün əvvəlcədən öyrədilmiş dil modellərindən istifadə edir. Cheah-a görə təsnifatçılar yeni deyil; universitetlərdə bunu ChatGPT meydana çıxmazdan əvvəl öyrədirdilər; yeni olan yaxşı hazırlanmış zero-shot API-dir.

Onun fikrincə, hər hansı AI/ML məzunu Simple Jev-i bir cümlə ilə təkrarlaya bilər, kod isə GitHub-da dərc olunub, buna görə o, yüzlərlə açıq Jev klonu gözləyir.

Qiymətlər və açıq modellərin arqumenti

Featherless həmçinin pulsuz ictimai endpointlər açır ki, tərtibatçılar təsnifat modellərini API açarı olmadan sınaya bilsinlər; demo 2 000 token konteksti və saniyədə iki sorğu ilə məhdudlaşır. İstehsal üçün qiymət milyon giriş tokeni üçün 0,03 dollardan başlayır, çıxış tokenləri pulsuzdur; TypeSafe-in Jev qiyməti 0,042 dollardır.

Cheah-ın qiymətləndirməsinə görə, şəkilin və ya mətn abzasının təsnifatı 500-dən 1 200 tokenə qədər sərf edir, yəni milyon token üçün 0,03 dollar qiyməti ilə bir qərar təxminən üç mində bir sentə başa gəlir. Featherless sənayeni “monolit universal modellərdən” imtina etməyə çağırır.

Şirkət bu addımı daha geniş kontekstə qoyur: OpenAI CLIP-i 2021-ci ilin əvvəlində təqdim etdi, Microsoft isə Florence-2-ni 2024-cü ilin yayında. Simple Jev GitHub-da əlçatandır.