Respan, LiteLLM Sarmalayıcısını Bıraktıktan Sonra Açık Kaynaklı Rust AI Ağ Geçidini Yayınladı

Respan Neden Ağ Geçidini Yeniden İnşa Etti

Respan, Salı günü LiteLLM etrafında iki yıl ve 100.000'den fazla satır sarmalayıcı kodun ardından Rust ile yazılmış açık kaynaklı bir AI ağ geçidi yayınladı. Kırılma noktası Ocak 2026'da geldi; rutin bir LiteLLM yükseltmesi aralıklı bağlantı hatalarına neden oldu. Respan geri alma yaptı ancak nedeni asla bulamadı ve mühendisler o günden beri LiteLLM'i doğrudan yükseltmeyi bırakıp üst akıştaki düzeltmeleri tek tek seçerek alıyor.

Eklentilerle Küçük Bir Çekirdek

Ağ geçidi Nginx'ten esinlenerek çekirdeği küçük tutar ve yönlendirme, model sağlayıcıları ile güvenliği eklentilere taşır. Geliştiriciler çekirdek koda dokunmadan aynı arayüzleri kullanarak özel eklentiler oluşturabilir. Respan, Mistral sağlayıcısının yalnızca 22 satır sürdüğünü ve Groq'un token kullanımını farklı bir alanda bildirmesi gibi tuhaflıkların ayrı ele alındığını söylüyor.

HTTP veya WebSocket üzerinden gelen istekler, kayıt sırasına göre eklentilerden geçer. Her eklenti bir model seçebilir, yanıtı değiştirebilir, ek çağrılar yapabilir veya istek bir sağlayıcıya ulaşmadan önce durdurabilir. Her iki taraf aynı biçimi kullandığında, sağlayıcıya özgü alanlar korunur. Ağ geçidi ayrıca protokoller arasında çeviri yapar; OpenAI'in Realtime API'si için oluşturulmuş bir uygulamanın istemci değişikliği olmadan Gemini Live'a bağlanmasını sağlar, ancak bazı özellikler aktarılmayabilir.

Derleme Zamanındaki Eklentiler Soru İşaretleri Doğuruyor

Özel eklentiler ağ geçidine derlenir, bu nedenle bir eklenti eklemek kodu sürdürme ve ikili dosyayı yeniden derleme anlamına gelir. Eklentiler ağ geçidi sürecinin içinde çalıştığı için model isteklerine ve diğer hassas verilere erişebilirler. Rust, bellek güvenliği hatalarını engeller ancak kötü niyetli bağımlılıklara veya hatalı mantığa karşı koruyamaz; bu endişe Hacker News tartışmasında gündeme getirildi. Bir yorumcu, derlenen crate'lerin eklenti olarak adlandırılıp adlandırılamayacağını sorgulayarak derleme hattı ek yükünü ve tedarik zinciri risklerini öne sürdü. Respan'ın kurucusu endişeyi kabul etti ve geliştiricilerin derledikleri kaynağı inceleyebileceğini belirtti.

Eklenti sırası da önemlidir. Eklentiler kayıt sırasına göre çalışır ve biri diğerleri yürütülmeden önce bir isteği yanıtlayabilir veya reddedebilir. Güvenlik denetiminden önce yerleştirilen bir önbellek, önbelleğe alınmış bir yanıtın o denetimi tamamen atlamasına izin verebilir.

LiteLLM da Rust'a Geçiyor

LiteLLM ağ geçidini rota rota Rust'a taşıyor; Rust çekirdeği varsayılan olarak kapalı gelir ve istekler gerektiğinde Python'a döner. Şirket planını Haziran'da ana hatlarıyla açıkladı ve tüm sıcak yolları, kimlik doğrulamayı ve hız sınırlandırmayı ele alan saf bir Rust sunucusu hedefliyor. LiteLLM, Rust ağ geçidinin Bifrost'tan yaklaşık yedi kat daha az ek yük ve dokuz kat daha az bellek kullandığını iddia eden kıyaslamalar yayınladı; ancak bu rakamlar LiteLLM'in kendi testlerinden geliyor.

Respan'ın ağ geçidi hâlâ pre-alpha aşamasında. Geliştiriciler ücretli platform olmadan GitHub'dan önceden derlenmiş bir ikili dosya indirebilir; ancak özel eklentiler kendi derlemelerini yapmayı gerektirir.

Kaynaklar: The New Stack