DeepSeek відкриває вихідний код фреймворку DeepInfer для V4.1-Flash

DeepInfer тепер з відкритим кодом

DeepSeek заявила, що відкриває вихідний код DeepInfer, фреймворку для інференсу, який живить її великомасштабні продакшн-сервіси. У репозиторії проєкту сказано, що випуск підтримує DeepSeek-V4.1-Flash і працює на GPU Nvidia SM100 та NPU Huawei Ascend 950. DeepSeek планує додати підтримку майбутніх систем, повідомляє Bloomberg.

DeepSeek заявила в X, що ділиться своїм продакшн-стеком, щоб допомогти спільноті знизити вартість обчислень, скоротити споживання енергії та зробити AI доступнішим. Штаб-квартира компанії знаходиться в Ханчжоу.

Що включає фреймворк

DeepInfer включає оптимізовані ядра та методи паралелізму для шарів уваги та mixture-of-experts. Він також надає метод декодування, який використовує токени-чернетки та оцінки впевненості для планування перевірки, плюс асинхронне планування, що накладає планування пакетів CPU на виконання на пристрої.

Випуск також охоплює інференс, інваріантний до пакета, детерміноване семплювання та структуровані вихідні дані. Інференс, інваріантний до пакета, і детерміноване семплювання працюють лише на обладнанні Nvidia. Список ядер включає власні ядра TileLang і охоплює чипи Huawei Ascend 950.

Обмеження та вимоги до розгортання

Випуск надає офлайн-інференс і не включає частини повноцінного інференс-сервісу. DeepSeek заявила, що користувачі мають надати систему KV cache, розділення prefill і decode, а також балансування навантаження між репліками data-parallel як для prefill, так і для decode.

DeepInfer вимагає Linux, GCC 13.0 або новішої версії та Python 3.12, плюс CUDA 13 на обладнанні Nvidia або CANN 9.2 на Ascend. Його випущено під ліцензією Apache License 2.0. DeepSeek заявила, що фреймворк спочатку був побудований переважно на vLLM, з додатковим запозиченням ідей із SGLang та TensorRT-LLM.

Чому цей випуск важливий

Bloomberg повідомила, що випуск розкриває методи, на які спирається DeepSeek, щоб стримувати витрати на інференс для передового AI, техніки, які AI-компанії зазвичай оберігають. Фірми, які розміщують або запускають моделі DeepSeek у хмарі, можуть застосувати ці методи самостійно, а Bloomberg повідомила, що вартість обслуговування певної моделі може сильно відрізнятися залежно від програмного забезпечення для обслуговування.

Жодна стороння сторона ще не бенчмаркала приріст ефективності DeepInfer, повідомляє Bloomberg. Фреймворк стосується власних моделей DeepSeek, але сторонні розробники можуть прочитати код і запозичити його техніки для власних систем. Минулого місяця DeepSeek оголосила про партнерство з Huawei для створення інструментів програмування для чипів Ascend і відкрила вихідний код шести програмних модулів для платформи, зокрема версію TileLang, адаптовану до Ascend 950.

Джерела: Quartz · GitHub · Bloomberg · Techmeme