Respan-მა LiteLLM-ის wrapper-ის მიტოვების შემდეგ Rust-ზე დაწერილი ღია კოდის AI გეიტვეი გამოუშვა

რატომ აღადგინა Respan-მა გეიტვეი

Respan-მა სამშაბათს Rust-ზე დაწერილი ღია კოდის AI გეიტვეი გამოუშვა, ორწლიანი მუშაობისა და LiteLLM-ის გარშემო 100 000-ზე მეტი ხაზის wrapper-კოდის შემდეგ. გარდატეხა 2026 წლის იანვარში მოხდა, როცა LiteLLM-ის ჩვეულებრივმა განახლებამ კავშირის დროდადრო წყვეტები გამოიწვია. Respan-მა ცვლილება უკუაგდო, მაგრამ მიზეზი ვერ იპოვა; მას შემდეგ ინჟინრებმა LiteLLM-ის პირდაპირ განახლება შეწყვიტეს და საწყისი რეპოზიტორიიდან შესწორებებს სათითაოდ ირჩევენ.

მცირე ბირთვი და პლაგინები

გეიტვეი Nginx-ის მიდგომას იმეორებს: ბირთვი პატარაა, მარშრუტიზაცია, მოდელის პროვაიდერები და უსაფრთხოება კი პლაგინებშია გატანილი. დეველოპერებს იგივე ინტერფეისებით საკუთარი პლაგინების შექმნა ბირთვის კოდის შეხების გარეშე შეუძლიათ. Respan-ის თქმით, Mistral-ის პროვაიდერი მხოლოდ 22 ხაზს იკავებს, ხოლო Groq-ის token-ების სხვა ველში მითითება ცალკე მუშავდება.

HTTP ან WebSocket-ით შემოსული მოთხოვნები პლაგინებს რეგისტრაციის რიგით გადის. თითოეულ პლაგინს შეუძლია აირჩიოს მოდელი, შეცვალოს პასუხი, გააკეთოს დამატებითი გამოძახებები ან შეაჩეროს მოთხოვნა პროვაიდერამდე მისვლამდე. თუ ორივე მხარე ერთსა და იმავე ფორმატს იყენებს, პროვაიდერის სპეციფიკური ველები შენარჩუნებულია. გეიტვეი პროტოკოლებს შორისაც თარგმნის: OpenAI-ის Realtime API-სთვის აგებულ აპლიკაციას შეუძლია Gemini Live-ს დაუკავშირდეს კლიენტში ცვლილებების გარეშე, თუმცა ზოგიერთი ფუნქცია შეიძლება არ გადავიდეს.

კომპილაციის დროს ჩაშენებული პლაგინები კითხვებს აჩენს

საკუთარი პლაგინები გეიტვეიში კომპილირდება, ამიტომ მათი დამატება კოდის მოვლასა და ბინარული ფაილის ხელახლა აწყობას ნიშნავს. ვინაიდან პლაგინები გეიტვეის პროცესში მუშაობენ, მათ შეუძლიათ წვდომა მოდელის მოთხოვნებსა და სხვა მგრძნობიარე მონაცემებზე. Rust მეხსიერების უსაფრთხოების შეცდომებს თავიდან იცილებს, მაგრამ მავნე დამოკიდებულებებისგან ან არასწორი ლოგიკისგან ვერ იცავს; ეს შეშფოთება Hacker News-ის დისკუსიაშიც გამოითქვა. ერთმა კომენტატორმა იკითხა, უნდა ეწოდოს თუ არა კომპილირებულ crate-ებს პლაგინები, და აღნიშნა აწყობის დანახარჯები და მიწოდების ჯაჭვის რისკები. Respan-ის დამფუძნებელმა შეშფოთება აღიარა და აღნიშნა, რომ დეველოპერებს შეუძლიათ შეამოწმონ ის კოდი, რომელსაც კომპილირებენ.

პლაგინების რიგითობასაც აქვს მნიშვნელობა. ისინი რეგისტრაციის რიგით მუშაობენ და ერთმა შეიძლება უპასუხოს ან უარყოს მოთხოვნა სხვების გაშვებამდე. თუ ქეში უსაფრთხოების შემოწმებამდეა განთავსებული, ქეშირებულმა პასუხმა შეიძლება სრულად გვერდი აუაროს ამ შემოწმებას.

LiteLLM-იც Rust-ზე გადადის

LiteLLM თავის გეიტვეის Rust-ზე გადააქვს თითო როუტით: Rust-ის ბირთვი ნაგულისხმევად გამორთულია, საჭიროებისას კი მოთხოვნები Python-ს უბრუნდება. კომპანიამ გეგმა ივნისში გაასაჯაროვა და სამიზნედ დაისახა სუფთა Rust-ის სერვერი, რომელიც გაუმკლავდება ყველა კრიტიკულ მარშრუტს, ავთენტიფიკაციასა და სიხშირის შეზღუდვას. LiteLLM-მა გამოაქვეყნა ბენჩმარკები და ამტკიცებს, რომ მის Rust-გეიტვეის Bifrost-თან შედარებით დაახლოებით შვიდჯერ ნაკლები დანახარჯი და ცხრაჯერ ნაკლები მეხსიერება აქვს, თუმცა ეს მაჩვენებლები LiteLLM-ის საკუთარ ტესტებიდან მოდის.

Respan-ის გეიტვეი ჯერ pre-alpha ეტაპზეა. დეველოპერებს შეუძლიათ GitHub-იდან წინასწარ აწყობილი ბინარული ფაილი ჩამოტვირთონ ფასიანი პლატფორმის გარეშე, თუმცა საკუთარი პლაგინების დასამატებლად ვერსია თავად უნდა ააწყონ.

წყაროები: The New Stack