Respan, LiteLLM wrapper-dən vaz keçərək açıq mənbəli Rust AI gateway buraxdı

Respan niyə gatewayini yenidən qurdu

Respan çərşənbə axşamı Rust dilində yazılmış açıq mənbəli AI gateway buraxdı. Bundan əvvəl iki il ərzində LiteLLM ətrafında 100.000-dən çox sətir wrapper kodu yaradılmışdı. Kəsilmə nöqtəsi 2026-cı ilin yanvarında oldu: adi LiteLLM yeniləməsi fasiləli bağlantı qüsurlarına səbəb oldu. Respan dəyişikliyi geri qaytardı, amma səbəbi heç vaxt tapa bilmədi. Mühendislər bundan sonra LiteLLM-i birbaşa yeniləməyi dayandırıb, əsas layihədən düzəlişləri bir-bir götürüblər.

Kiçik nüvə və plaginlər

Gateway Nginx-dən götürülmüş ideyaya əsaslanır: nüvəni kiçik saxlayır, marşrutlaşdırmanı, model provayderlərini və təhlükəsizliyi plaginlərə köçürür. Tərtibatçılar eyni interfeyslərdən istifadə edərək nüvə koduna toxunmadan öz plaginlərini qura bilərlər. Respan bildirir ki, onun Mistral provayderi cəmi 22 sətir tutur, Groq-un token istifadəsini fərqli sahədə göstərməsi kimi xüsusiyyətlər isə ayrıca işlənir.

HTTP və ya WebSocket üzərindən göndərilən sorğular qeydiyyat sırası ilə plaginlərdən keçir. Hər bir plagin model seçə, cavabı dəyişə, əlavə zənglər edə və ya sorğunu provayderə çatmadan dayandıra bilər. Hər iki tərəf eyni formatdan istifadə etsə, provayderə xas sahələr qorunur. Gateway həmçinin protokollar arasında tərcümə edir: OpenAI-nin Realtime API-si üçün qurulmuş tətbiq müştəri tərəfində dəyişiklik olmadan Gemini Live-a qoşula bilər, amma bəzi funksiyalar keçməyə bilər.

Kompilyasiya edilən plaginlər sual yaradır

Fərdi plaginlər gateway-ə kompilyasiya olunur, ona görə birini əlavə etmək kodu saxlamağı və binary faylının yenidən qurulmasını tələb edir. Plaginlər gateway prosesinin içində işlədiyi üçün model sorğularına və digər həssas məlumatlara çıxış əldə edə bilirlər. Rust yaddaş təhlükəsizliyi xətalarının qarşısını almağa kömək edir, amma zərərli asılılıqlardan və ya səhv məntiqdən qoruya bilməz; bu narahatçılıq Hacker News müzakirəsində də qaldırıldı. Bir şərhçi kompilyasiya olunan crate-lərin plagin adlandırılmalı olub-olmadığını soruşdu və qurma prosesinin yükünü, təchizat zənciri risklərini qeyd etdi. Respanın təsisçisi narahatçılığı qəbul etdi və tərtibatçıların kompilyasiya etdikləri mənbəni yoxlaya biləcəyini qeyd etdi.

Plagin sırası da vacibdir. Plaginlər qeydiyyat sırası ilə işləyir, biri digərlərindən əvvəl sorğuya cavab verə və ya rədd edə bilər. Təhlükəsizlik yoxlamasından əvvəl yerləşdirilən keş, keşlənmiş cavabın bu yoxlamadan tamamilə yan keçməsinə imkan verə bilər.

LiteLLM həmçinin Rust-a köçür

LiteLLM gateway-ini Rust-a hər dəfə bir marşrutla köçürür; Rust nüvəsi ilkin olaraq söndürülüb və lazım olduqda sorğular Python-a qayıdır. Şirkət planı iyun ayında açıqlayıb və bütün isti yolları, autentifikasiyanı və sürət məhdudiyyətini idarə edən tam Rust serverini hədəfləyir. LiteLLM benchmarklar dərc edib və iddia edir ki, onun Rust gateway-i Bifrost-dan təxminən yeddi dəfə az əlavə yük və doqquz dəfə az yaddaş sərf edir; amma bu rəqəmlər LiteLLM-in öz testlərindən gəlir.

Respanın gatewayi hələ pre-alpha mərhələsindədir. Tərtibatçılar GitHub-dan hazır binary faylını ödənişli platforma olmadan endirə bilərlər, baxmayaraq ki fərdi plaginlər öz versiyalarını kompilyasiya etməyi tələb edir.

Mənbələr: The New Stack