Ollaya-ն ներկայացրել է Jev-ոճի decision մոդելների տեղական runtime

Ollaya-ն տեղական տեղադրման runtime է decision մոդելների համար և ներկայացվում է որպես հոսթինգով աշխատող TypeSafe Jev մոդելների այլընտրանք։ Մեկ forward pass-ով այն հարցման յուրաքանչյուր հարցի վերադարձնում է տիպավորված պատասխան՝ ընտրություն կանոնների ցանկից, այո կամ ոչ, թիվ սանդղակի վրա կամ կարճ տող։ Runtime-ը տարածվում է Apache-2.0 արտոնագրով, կոդը՝ GitHub-ում։

Կայքի առաջին օրինակը «I was charged twice this month and want a refund» հաղորդագրության վրա գործարկում է ollaya run laya --preset triage հրամանը և տեքստի փոխարեն ստանում հավանականություններ՝ intent refund 1.00, is_urgent no 0.87 և refund_requested yes 0.88։ Ամեն տարբերակ գալիս է հավանականությամբ, ուստի կանչող կողմը կարող է որոշման վրա շեմ սահմանել՝ գեներացված տեքստը վերլուծելու փոխարեն։

Արագություն և չափորոշում

NVIDIA RTX 4090-ի վրա Ollaya-ն HTTP API-ի միջոցով հինգ հարցից բաղկացած Laya-ի հարցման համար չափում է մոտ 8-10 մվ։ Համեմատության համար էջը 236-276 մվ է նշում որպես հոսթինգային TypeSafe Jev API-ի միջին հետաձգություն՝ հիմնված երրորդ կողմի բենչմարքների վրա, որոնք ներառում են ցանցային ժամանակը. Ollaya-ն նշում է, որ սա կարգի աստիճանի համեմատություն է։

Երկրորդ պնդումը չափորոշումն է. temperature fitting-ից հետո Laya-ի չափորոշման սպասվող սխալը 0.081 է, Jev-ինը՝ 0.246։ Ավելի ցածր ցուցանիշը նշանակում է, որ 0.9 հավանականությունն ավելի մոտ է իրական 90% հարվածին։

Համատեղելիություն TypeSafe-ի API-ի հետ

Ollaya-ն սպասարկում է /v1/systemone և /v1/models էնդփոյնթները TypeSafe-ի հարցման և պատասխանի ձևաչափով, և ըստ կայքի՝ TypeSafe-ի պաշտոնական Python SDK 0.7.1-ը տեղական սերվերի հետ աշխատում է առանց փոփոխությունների։ Հաշիվ-ապրանքագրի օրինակում պատասխանը վերադարձնում է intent invoice՝ 0.9547 վստահությամբ և 0.9698, 0.0172 ու 0.013 հավանականություններով։

Բաց կշիռներ և հարթակներ

Կշիռները ներբեռնվում են հեղինակների Hugging Face պահոցներից, ամրացված commit-ին և ստուգված sha256-ով. Ollaya-ն դրանք ինքը չի հոսթինգում։ Սկսելու համար հասանելի է Convai Innovations-ի Laya ընտանիքը՝ անգլերեն մոդել, 100+ լեզվի մոդել և տիպավորված որոշումների համար լրամշակված տարբերակ։ Սերվերն աշխատում է ONNX Runtime-ի վրա, լռելյայն լսում է միայն տեղական ինտերֆեյսը և օգտագործում է CPU կամ NVIDIA GPU։

Կառուցվածքները հասանելի են macOS-ի, Windows-ի, Linux-ի, WSL 2-ի և Docker-ի համար։ Բոլոր մոդելները աշխատում են CPU-ի վրա. Linux-ում, WSL 2-ում կամ Docker-ում R580 կամ ավելի նոր դրայվերով և CUDA 13-ով NVIDIA GPU-ն հարցումը իջեցնում է միլիվայրկյանների։

Ինչու է սա կարևոր

Decision մոդելները փոքր մոդելների կատեգորիա են տիպավորված դասակարգման և գնահատման աշխատանքների համար, որոնք չաթ API-ները կատարում են դանդաղ և թոքենի դիմաց վճարով՝ դիմումների տրիաժ, մտադրություն, տրամադրություն, երթուղավորում, մոդերացիայի դրոշներ։ Տեղական գործարկումը զգայուն հաղորդագրությունները թողնում է նույն մեքենայի վրա, վերացնում է հաշվիչը և վերադարձնում հավանականություն՝ նախադասության փոխարեն։