Respan משיקה שער בינה מלאכותית בקוד פתוח מבוסס Rust לאחר נטישת עטיפת LiteLLM

למה Respan בנתה מחדש את השער שלה

Respan שחררה שער בינה מלאכותית בקוד פתוח שנכתב ב-Rust ביום שלישי, לאחר שנתיים ומעל 100,000 שורות של קוד עטיפה סביב LiteLLM. הנקודה שהכריעה הגיעה בינואר 2026, כאשר שדרוג שגרתי של LiteLLM גרם לכשלי חיבור מזדמנים. Respan ביצעה גלגול לאחור אך מעולם לא מצאה את הגורם, ומאז המהנדסים הפסיקו לשדרג את LiteLLM ישירות ומעדיפים תיקונים בודדים מראש הפיתוח, אחד בכל פעם.

ליבה קטנה עם תוספים

השער שואל רעיונות מ-Nginx ושומר על ליבה קטנה, תוך העברת הניתוב, ספקי המודלים והאבטחה לתוספים. מפתחים יכולים לבנות תוספים מותאמים אישית באמצעות אותם ממשקים מבלי לגעת בקוד הליבה. Respan אומרת שספק ה-Mistral שלה דורש רק 22 שורות, ומאפיינים חריגים כמו Groq שמדווח שימוש באסימונים בשדה אחר מטופלים בנפרד.

בקשות על HTTP או WebSocket עוברות דרך התוספים לפי סדר הרישום. כל תוסף יכול לבחור מודל, לשנות את התגובה, לבצע קריאות נוספות או לעצור את הבקשה לפני שהיא מגיעה לספק. כאשר שני הצדדים משתמשים באותו פורמט, שדות ספציפיים לספק נשמרים. השער גם מתרגם בין פרוטוקולים, ומאפשר ליישום שנבנה עבור ה-Realtime API של OpenAI להתחבר ל-Gemini Live ללא שינויים בצד הלקוח, אם כי ייתכן שחלק מהתכונות לא יועברו.

תוספים שמקומפלים מעוררים שאלות

תוספים מותאמים אישית מקומפלים לתוך השער, כך שהוספת תוסף מצריכה תחזוקת קוד ובנייה מחדש של הקובץ הבינארי. מכיוון שתוספים רצים בתוך תהליך השער, הם יכולים לגשת לבקשות מודלים ולנתונים רגישים אחרים. Rust מונעת באגים של בטיחות זיכרון אך אינה מגנה מפני תלויות זדוניות או לוגיקה פגומה, דאגה שהועלתה בדיון ב-Hacker News. אחד המגיבים תהה האם קרייטים מקומפלים צריכים להיחשב תוספים, תוך ציון עומס בצינור הבנייה וסיכוני שרשרת אספקה. מייסד Respan הכיר בדאגה וציין שמפתחים יכולים לבדוק את המקור שהם מקמפלים.

סדר התוספים משנה גם הוא. תוספים רצים לפי סדר הרישום, ואחד יכול לענות או לדחות בקשה לפני שאחרים בכלל מתבצעים. מטמון שמוצב לפני בדיקת אבטחה עלול לאפשר לתגובה שבמטמון לעקוף את אותה בדיקה לגמרי.

גם LiteLLM עוברת ל-Rust

LiteLLM מעבירה את השער שלה ל-Rust מסלול אחד בכל פעם, כשליבת ה-Rust כבויה כברירת מחדל והבקשות נמסרות ל-Python כשצריך. החברה פירסמה את התוכנית ביוני ושואפת לשרת Rust טהור שמטפל בכל הנתיבים החמים, באימות ובהגבלת קצב. LiteLLM פרסמה תוצאות מדידה שטוענות שלשער ה-Rust שלה יש בערך תקורה נמוכה פי שבעה וזיכרון נמוך פי תשעה מ-Bifrost, אבל הספרות האלה מגיעות מהמבחנים של LiteLLM עצמה.

השער של Respan עדיין בדרגת pre-alpha. מפתחים יכולים להוריד קובץ בינארי מוכן מ-GitHub ללא הפלטפורמה בתשלום, אם כי תוספים מותאמים אישית מצריכים קומפול של בנייה משלהם.

מקורות: The New Stack