Respan випустив open-source AI-шлюз на Rust після відмови від обгортки LiteLLM

Чому Respan перебудував свій шлюз

Respan випустив open-source AI-шлюз, написаний на Rust, у вівторок, після двох років і понад 100 000 рядків обгортки навколо LiteLLM. Переломний момент настав у січні 2026 року, коли рутинне оновлення LiteLLM спричинило періодичні збої з'єднання. Respan відкотив зміни, але так і не знайшов причину, і з тих пір інженери припинили оновлювати LiteLLM напряму, вибірково забираючи виправлення з апстріму по одному.

Маленьке ядро з плагінами

Шлюз позичає у Nginx підхід із малим ядром, виносячи маршрутизацію, провайдерів моделей і безпеку в плагіни. Розробники можуть створювати власні плагіни через ті самі інтерфейси, не торкаючись коду ядра. Respan заявляє, що її провайдер Mistral займає лише 22 рядки, а особливості на кшталт того, що Groq повідомляє використання токенів в іншому полі, обробляються окремо.

Запити через HTTP або WebSocket проходять через плагіни в порядку реєстрації. Кожен плагін може вибрати модель, змінити відповідь, зробити додаткові виклики або зупинити запит до того, як він досягне провайдера. Коли обидві сторони використовують один формат, специфічні для провайдера поля зберігаються. Шлюз також перекладає між протоколами, дозволяючи застосунку, побудованому для Realtime API від OpenAI, підключатися до Gemini Live без змін на стороні клієнта, хоча деякі функції можуть не перенестися.

Плагіни часу компіляції викликають запитання

Власні плагіни компілюються в шлюз, тому додавання одного означає підтримку коду та перезбірку бінарника. Оскільки плагіни працюють усередині процесу шлюзу, вони мають доступ до запитів моделям та інших чутливих даних. Rust запобігає помилкам безпеки пам'яті, але не може захистити від шкідливих залежностей або помилкової логіки, що є занепокоєнням, порушеним в обговоренні на Hacker News. Один коментатор поставив під сумнів, чи варто називати скомпільовані крейти плагінами, посилаючись на накладні витрати конвеєра збірки та ризики ланцюжка постачання. Засновник Respan визнав це занепокоєння, зазначивши, що розробники можуть перевірити вихідний код, який вони компілюють.

Порядок плагінів теж має значення. Плагіни виконуються в порядку реєстрації, і один може відповісти на запит або відхилити його до того, як виконаються інші. Кеш, розміщений перед перевіркою безпеки, може дозволити кешованій відповіді повністю обійти цю перевірку.

LiteLLM теж переходить на Rust

LiteLLM портує свій шлюз на Rust поступово, по одному маршруту за раз, з ядром на Rust за замовчуванням вимкненим і відкатом запитів до Python за потреби. Компанія описала план у червні і прагне до чисто Rust-сервера, що обробляє всі гарячі шляхи, автентифікацію та обмеження швидкості. LiteLLM опублікувала бенчмарки, стверджуючи, що її Rust-шлюз має приблизно в сім разів менше накладних витрат і в дев'ять разів менше пам'яті, ніж у Bifrost, хоча ці цифри походять із власних тестів LiteLLM.

Шлюз Respan все ще перебуває на стадії pre-alpha. Розробники можуть завантажити готовий бінарник з GitHub без платної платформи, хоча власні плагіни вимагають компіляції власної збірки.

Джерела: The New Stack