DeepSeek-მა DeepInfer ინფერენსის ჩარჩო V4.1-Flash-ისთვის ღია კოდით გამოაქვეყნა

DeepInfer ღია კოდით გამოქვეყნდა

DeepSeek-მა განაცხადა, რომ DeepInfer-ს ღია კოდით აქვეყნებს. ეს არის ინფერენსის ჩარჩო, რომელზეც კომპანიის მასშტაბური საწარმოო სერვისები მუშაობს. პროექტის რეპოზიტორიის თანახმად, გამოშვება მხარს უჭერს DeepSeek-V4.1-Flash-ს და მუშაობს Nvidia SM100 GPU-ებზე და Huawei Ascend 950 NPU-ებზე. Bloomberg-ის ცნობით, DeepSeek მომავალი სისტემებისთვის მხარდაჭერის დამატებას გეგმავს.

DeepSeek-მა X-ზე დაწერა, რომ საკუთარ საწარმოო სტეკს საზოგადოებას უზიარებს, რათა დაეხმაროს მას გამოთვლითი ხარჯებისა და ენერგიის მოხმარების შემცირებაში და ხელოვნური ინტელექტი უფრო ხელმისაწვდომი გახადოს. კომპანიის ცენტრალური ოფისი ჰანჯოუში მდებარეობს.

რას მოიცავს ჩარჩო

DeepInfer მოიცავს ოპტიმიზებულ ბირთვებსა და პარალელიზაციის მეთოდებს attention-ისა და mixture-of-experts ფენებისთვის. გარდა ამისა, ის გვთავაზობს დეკოდირების მეთოდს, რომელიც ვერიფიკაციის დასაგეგმად draft ტოკენებსა და სანდოობის შეფასებებს იყენებს, და ასინქრონულ დაგეგმვას, რომლის დროსაც CPU-ზე ბატჩების დაგეგმვა და მოწყობილობაზე შესრულება პარალელურად მიდის.

გამოშვება ასევე მოიცავს batch-invariant ინფერენსს, დეტერმინისტულ სემპლინგსა და სტრუქტურირებულ გამოსავლებს. batch-invariant ინფერენსი და დეტერმინისტული სემპლინგი მხოლოდ Nvidia-ს ტექნიკაზე მუშაობს. ბირთვების სია მოიცავს TileLang-ის მორგებულ ბირთვებს და Huawei Ascend 950-ის ჩიპებსაც.

განთავსების შეზღუდვები და მოთხოვნები

გამოშვება გვაძლევს მხოლოდ ოფლაინ ინფერენსს და სრული ინფერენს სერვისის ნაწილებს არ მოიცავს. DeepSeek-ის თქმით, მომხმარებლებმა თავად უნდა უზრუნველყონ KV ქეშის სისტემა, prefill-ისა და decode-ის დისაგრეგაცია და დატვირთვის ბალანსირება data-parallel რეპლიკებს შორის, როგორც prefill-ისთვის, ისე decode-ისთვის.

DeepInfer-ს სჭირდება Linux, GCC 13.0 ან უფრო ახალი ვერსია და Python 3.12, ასევე CUDA 13 Nvidia-ს ტექნიკაზე ან CANN 9.2 Ascend-ზე. ის Apache License 2.0-ის პირობებით ვრცელდება. DeepSeek-ის თქმით, ჩარჩო თავდაპირველად ძირითადად vLLM-ზე იყო აგებული, დამატებითი ინსპირაცია კი SGLang-მა და TensorRT-LLM-მა მისცა.

რატომ არის ეს გამოშვება მნიშვნელოვანი

Bloomberg-ის ცნობით, გამოშვება ამჟღავნებს იმ მეთოდებს, რომლებსაც DeepSeek ძლიერი ხელოვნური ინტელექტის ინფერენსის ხარჯების დაბალ დონეზე შესანარჩუნებლად იყენებს, ანუ ტექნიკებს, რომლებსაც AI კომპანიები ჩვეულებრივ მალავენ. კომპანიებს, რომლებიც DeepSeek-ის მოდელებს ღრუბელში ჰოსტავენ ან ამუშავებენ, შეუძლიათ ეს მეთოდები დამოუკიდებლად გამოიყენონ, და Bloomberg-ის თქმით, კონკრეტული მოდელის მომსახურების ფასი შეიძლება ძალიან ფართო დიაპაზონში მერყეობდეს სერვინგის პროგრამული უზრუნველყოფის მიხედვით.

Bloomberg-ის ცნობით, ჯერჯერობით ვერც ერთმა გარე მხარემ არ გაზომა ბენჩმარკებით DeepInfer-ის ეფექტიანობის მატება. ჩარჩო DeepSeek-ის საკუთარ მოდელებზე ვრცელდება, თუმცა გარე დეველოპერებმა შეიძლება კოდი წაიკითხონ და მისი ტექნიკები საკუთარი სისტემებისთვის ისესხონ. გასულ თვეს DeepSeek-მა Huawei-სთან პარტნიორობა გამოაცხადა Ascend-ის ჩიპებისთვის პროგრამირების ხელსაწყოების შესაქმნელად და პლატფორმისთვის ექვსი პროგრამული მოდული ღია კოდით გამოაქვეყნა, მათ შორის TileLang-ის ვერსია, რომელიც Ascend 950-ზეა მორგებული.

წყაროები: Quartz · GitHub · Bloomberg · Techmeme