Ինչու է Featherless-ը ասում, որ պիցցա հասցնելու համար տանկ պետք չէ

Ինֆերենս ծառայությունների մատակարար Featherless-ը թողարկել է բաց կոդով Simple Jev գրադարանը։ Այն բաց մոդելները վերածում է արագ դասակարգիչների, որոնք կարող են մուտքային տվյալները բաշխել կատեգորիաներով առանց օրինակների։

Simple Jev-ը հիմնված է այս ամիս TypeSafe-ի թողարկած Jev-ի՝ փակ կոդի տեքստային համակարգի վրա, և կառուցվածքային որոշման ֆունկցիան տարածում է նաև բաց մոդելների վրա։ Հավելվածները կարող են գնահատել մուտքային տվյալները և վերադարձնել կատեգորիա կամ երկուսից մեկ ընտրություն՝ առանց խոսակցական տեքստի գեներացման։

Պիցցա հասցնելու համար տանկ պետք չէ

Featherless-ի գործադիր տնօրեն Eugene Cheah-ի խոսքով՝ օգտատիրոջ հարցումը դասակարգելու նման սովորական խնդրի համար frontier մոդել օգտագործելը նման է «պիցցա հասցնելու համար տանկ ուղարկելուն». գործիքները ավելորդ են։

«Պիցցայի տանկը միևնույն է կհասնի տեղ, բայց դանդաղ է, թանկ է և ոչ ճիշտ տրանսպորտային միջոց է»,— ասում է նա։ «Բիզնեսին արագ արձագանք է պետք, և դա այլ տիպի AI է, որը ոլորտը երկար անտեսել է»։

Cheah-ը ընդունում է, որ մեծ փակ մոդելները կարող են կատարել այս խնդիրները, սակայն կարծում է, որ դրանք այս աշխատանքի համար սխալ գործիք են. նրանք պատասխանը ստանում են տեքստ գեներացնելով՝ տրիլիոնավոր պարամետրերով LLM-ների միջոցով, և դա frontier գին ունի։ Simple Jev-ը պատասխանը չի «գրում». այն մոդելին կանգնեցնում է այնտեղ, որտեղ այն ընտրություն էր կատարում, կարդում է յուրաքանչյուր տարբերակի գնահատականը և դուրս բերում հավանականությունները։

Նկարներով աշխատանքը առայժմ միայն Gemma-ի և Qwen-ի մոդելներում է։

Ինչ է դասակարգիչը, որը օրինակների կարիք չունի

Նման համակարգերը օգտագործում են նախապես մարզված լեզվական մոդելներ՝ մուտքային տվյալները այնպիսի կատեգորիաներով բաշխելու համար, որոնց համար առանձին չեն մարզվել։ Cheah-ի խոսքով՝ դասակարգիչները նորություն չեն, համալսարաններում դա սովորեցնում էին դեռ ChatGPT-ի հայտնվելուց առաջ. նորը լավ մշակված zero-shot API-ն է։

Նրա կարծիքով՝ AI/ML-ի ցանկացած շրջանավարտ կարող է Simple Jev-ը կրկնել մեկ նախադասությամբ, իսկ կոդը հրապարակվել է GitHub-ում, ուստի նա սպասում է հարյուրավոր բաց Jev-կլոնների։

Գներ և բաց մոդելների փաստարկը

Featherless-ը նաև բացում է անվճար հանրային վերջնակետեր, որպեսզի մշակողները կարողանան դասակարգման մոդելները փորձարկել առանց API-բանալու. դեմոն սահմանափակվում է 2 000 token-ի կոնտեքստով և վայրկյանում երկու հարցումով։ Արտադրության համար գինը սկսվում է միլիոն մուտքային token-ի համար 0,03 դոլարից, ելքային token-ները անվճար են. TypeSafe-ի Jev-ի գինը 0,042 դոլար է։

Cheah-ի գնահատմամբ՝ նկարի կամ տեքստի պարբերության դասակարգումը սպառում է 500-ից 1 200 token, այսինքն՝ միլիոն token-ի համար 0,03 դոլար գնով մեկ որոշումը արժե մոտ երեք հազարերորդական ցենտ։ Featherless-ը կոչ է անում ոլորտին հրաժարվել «մոնոլիտ ունիվերսալ մոդելներից»։

Ընկերությունն այս քայլը դնում է ավելի լայն համատեքստում. OpenAI-ն CLIP-ը ներկայացրել է 2021 թվականի սկզբին, իսկ Microsoft-ի Florence-2-ը՝ 2024 թվականի ամռանը։ Simple Jev-ը հասանելի է GitHub-ում։