Respan-ը թողարկել է բաց կոդով Rust AI դարպաս՝ հրաժարվելով LiteLLM փաթաթող կոդից

Ինչու է Respan-ը վերակառուցել իր դարպասը

Respan-ը երեքշաբթի օրը թողարկել է բաց կոդով Rust-ով գրված AI դարպաս՝ երկու տարվա և LiteLLM-ի շուրջ 100,000-ից ավելի տող փաթաթող կոդից հետո։ Կոտրման կետը եղել է 2026 թվականի հունվարին, երբ LiteLLM-ի սովորական թարմացումը առաջացրել է ընդհատվող կապի ձախողումներ։ Respan-ը վերադարձրել է նախորդ տարբերակը, բայց երբեք չի գտել պատճառը, և դրանից հետո ինժեներները դադարել են LiteLLM-ը ուղղակիորեն թարմացնել՝ վերին հոսքի ուղղումները վերցնելով մեկ առ մեկ։

Փոքր միջուկ՝ փլագիններով

Դարպասը օգտագործում է Nginx-ի մոտեցումը՝ միջուկը փոքր պահելով և երթուղավորումը, մոդելների մատակարարները և անվտանգությունը տեղափոխելով փլագինների մեջ։ Մշակողները կարող են ստեղծել սեփական փլագիններ՝ օգտագործելով նույն ինտերֆեյսները՝ առանց միջուկի կոդին դիպչելու։ Respan-ը ասում է, որ իր Mistral մատակարարը զբաղեցնում է ընդամենը 22 տող, իսկ Groq-ի նման տարօրինակությունները, որոնք տոկենների օգտագործումը գրանցում են այլ դաշտում, մշակվում են առանձին։

HTTP կամ WebSocket հարցումները անցնում են փլագիններով՝ գրանցման հերթով։ Յուրաքանչյուր փլագին կարող է ընտրել մոդել, փոփոխել պատասխանը, կատարել լրացուցիչ կանչեր կամ կանգնեցնել հարցումը՝ մինչև այն հասնի մատակարարին։ Երբ երկու կողմերը օգտագործում են նույն ձևաչափը, մատակարարին հատուկ դաշտերը պահպանվում են։ Դարպասը նաև թարգմանում է պրոտոկոլների միջև՝ թույլ տալով OpenAI-ի Realtime API-ի համար կառուցված հավելվածին միանալ Gemini Live-ին՝ առանց հաճախորդի փոփոխությունների, թեև որոշ հնարավորություններ կարող են չփոխանցվել։

Կոմպիլացվող փլագինները հարցեր են առաջացնում

Սեփական փլագինները կոմպիլացվում են դարպասի մեջ, ուստի նորի ավելացումը նշանակում է կոդի պահպանում և երկուական ֆայլի վերակառուցում։ Քանի որ փլագինները աշխատում են դարպասի գործընթացի ներսում, դրանք կարող են մուտք ունենալ մոդելի հարցումներին և այլ զգայուն տվյալներին։ Rust-ը կանխում է հիշողության անվտանգության սխալները, բայց չի կարող պաշտպանել վնասակար կախվածություններից կամ թերի տրամաբանությունից, ինչը մտահոգություն էր՝ բարձրացված Hacker News-ի քննարկման մեջ։ Մեկ մեկնաբան կասկածի տակ դրեց, թե արդյոք կոմպիլացված կրեյթները պետք է կոչվեն փլագիններ՝ նշելով կառուցման գործընթացի լրացուցիչ բեռը և մատակարարման շղթայի ռիսկերը։ Respan-ի հիմնադիրը ընդունել է մտահոգությունը՝ նշելով, որ մշակողները կարող են ստուգել այն սկզբնական կոդը, որը կոմպիլացնում են։

Փլագինների հերթը նույնպես կարևոր է։ Փլագինները աշխատում են գրանցման հերթով, և մեկը կարող է պատասխանել կամ մերժել հարցումը՝ մինչև մյուսները կատարվեն։ Անվտանգության ստուգումից առաջ տեղադրված քեշը կարող է թույլ տալ, որ քեշավորված պատասխանը ամբողջությամբ շրջանցի այդ ստուգումը։

LiteLLM-ը նույնպես անցնում է Rust-ի

LiteLLM-ը իր դարպասը Rust-ի է տեղափոխում աստիճանաբար՝ մեկական երթուղի, Rust միջուկը լռելյայն անջատված է, և հարցումները անհրաժեշտության դեպքում վերադառնում են Python-ին։ Ընկերությունը պլանը ներկայացրել է հունիսին և նպատակ ունի ստեղծել մաքուր Rust սերվեր, որը կմշակի բոլոր տաք ուղիները, նույնականացումը և արագության սահմանափակումը։ LiteLLM-ը հրապարակել է չափորոշիչներ, որոնք պնդում են, որ իր Rust դարպասը ունի մոտ յոթ անգամ ավելի քիչ լրացուցիչ բեռ և ինը անգամ ավելի քիչ հիշողություն, քան Bifrost-ը, թեև այդ թվերը վերցված են LiteLLM-ի սեփական փորձարկումներից։

Respan-ի դարպասը դեռ նախնական ալֆա փուլում է։ Մշակողները կարող են GitHub-ից ներբեռնել նախապես կառուցված երկուական ֆայլ՝ առանց վճարովի հարթակի, թեև սեփական փլագինները պահանջում են առանձին կոմպիլացում։

Աղբյուրներ՝ The New Stack