Respan تُطلق بوابة Rust للذكاء الاصطناعي مفتوحة المصدر بعد التخلي عن غلاف LiteLLM

لماذا أعادت Respan بناء بوابتها

أصدرت Respan بوابة ذكاء اصطناعي مفتوحة المصدر مكتوبة بلغة Rust يوم الثلاثاء بعد عامين وأكثر من 100,000 سطر من شفرة الغلاف حول LiteLLM. جاءت نقطة التحول في يناير 2026، عندما تسببت ترقية روتينية لـ LiteLLM في أعطال متقطعة في الاتصال. تراجعت Respan عن الترقية لكنها لم تجد السبب أبداً، وتوقف المهندسون منذ ذلك الحين عن ترقية LiteLLM مباشرة، منتقين إصلاحات المشروع الأصلي واحدة تلو الأخرى.

نواة صغيرة مع إضافات

تستلهم البوابة من Nginx، بإبقاء النواة صغيرة ونقل التوجيه ومقدمي النماذج والأمان إلى إضافات. يمكن للمطورين بناء إضافات مخصصة باستخدام نفس الواجهات دون لمس شفرة النواة. تقول Respan إن مقدم Mistral لديها يتطلب 22 سطراً فقط، وأن الحالات الشاذة مثل تقرير Groq لاستهلاك الرموز في حقل مختلف تُعالج بشكل منفصل.

تمر الطلبات عبر HTTP أو WebSocket خلال الإضافات بترتيب التسجيل. يمكن لكل إضافة اختيار نموذج أو تعديل الاستجابة أو إجراء استدعاءات إضافية أو إيقاف الطلب قبل وصوله إلى مقدم الخدمة. عندما يستخدم الطرفان التنسيق نفسه، تُحفظ الحقول الخاصة بالموفر. تترجم البوابة أيضاً بين البروتوكولات، مما يتيح لتطبيق مبني لواجهة Realtime API من OpenAI الاتصال بـ Gemini Live دون تغييرات في جانب العميل، وإن كان قد لا تنتقل بعض الميزات.

الإضافات التي تُجمّع وقت البناء تثير تساؤلات

تُجمّع الإضافات المخصصة داخل البوابة، لذا فإن إضافة واحدة تعني صيانة الشفرة وإعادة بناء الملف الثنائي. ولأن الإضافات تعمل داخل عملية البوابة، يمكنها الوصول إلى طلبات النماذج وغيرها من البيانات الحساسة. تمنع Rust أخطاء سلامة الذاكرة لكنها لا تستطيع الحماية من اعتماديات خبيثة أو منطق معيب، وهو قلق أثير في نقاش Hacker News. تساءل أحد المعلقين عما إذا كان ينبغي وصف حزم Rust المجمّعة بأنها إضافات، مستشهداً بعبء خط أنابيب البناء ومخاطر سلسلة التوريد. أقر مؤسس Respan بهذا القلق، مشيراً إلى أن المطورين يمكنهم فحص المصدر الذي يجمعونه.

ترتيب الإضافات مهم أيضاً. تعمل الإضافات بترتيب التسجيل، ويمكن لواحد منها الإجابة على طلب أو رفضه قبل أن ينفذ الآخرون. قد تسمح ذاكرة تخزين مؤقت موضوعة قبل فحص أمني لاستجابة مخزنة مؤقتاً بتجاوز ذلك الفحص بالكامل.

LiteLLM تنتقل إلى Rust أيضاً

تُحوّل LiteLLM بوابتها إلى Rust مساراً واحداً في كل مرة، مع إيقاف نواة Rust بشكل افتراضي وارتداد الطلبات إلى Python عند الحاجة. عرضت الشركة الخطة في يونيو وتهدف إلى خادم Rust خالص يعالج جميع المسارات الساخنة والمصادقة وتحديد المعدل. نشرت LiteLLM نتائج معايير أداء تدعي فيها أن بوابتها Rust تنطوي على عبء أقل بسبع مرات تقريباً وذاكرة أقل بتسع مرات مقارنة بـ Bifrost، وإن كانت هذه الأرقام صادرة عن اختبارات LiteLLM نفسها.

لا تزال بوابة Respan في مرحلة ما قبل ألفا. يمكن للمطورين تنزيل ملف ثنائي مُبنى مسبقاً من GitHub دون المنصة المدفوعة، وإن كانت الإضافات المخصصة تتطلب تجميع نسختهم الخاصة.

المصادر: The New Stack