DeepSeek, V4.1-Flash için DeepInfer çıkarım çerçevesini açık kaynağa açıyor

DeepInfer artık açık kaynak

DeepSeek, büyük ölçekli üretim hizmetlerini destekleyen çıkarım çerçevesi DeepInfer'ı açık kaynak olarak sunacağını söyledi. Proje deposuna göre sürüm, DeepSeek-V4.1-Flash'ı destekliyor ve Nvidia SM100 GPU'lar ile Huawei Ascend 950 NPU'lar üzerinde çalışıyor. Bloomberg'e göre DeepSeek, gelecekteki sistemler için destek eklemeyi planlıyor.

DeepSeek, X'te topluluğun hesaplama maliyetlerini düşürmesine, enerji kullanımını azaltmasına ve yapay zekayı daha uygun fiyatlı hale getirmesine yardımcı olmak için üretim yığınını paylaştığını söyledi. Şirketin merkezi Hangzhou'da bulunuyor.

Çerçeve neler içeriyor

DeepInfer, dikkat ve uzman karışımı katmanları için optimize edilmiş kernel'ler ve paralellik yöntemleri içeriyor. Ayrıca doğrulamaların zamanlanması için taslak token'lar ve güven tahminleri kullanan bir kod çözme yöntemi ile CPU toplu zamanlamanın cihaz yürütmesiyle örtüşmesini sağlayan eşzamansız zamanlama sunuyor.

Sürüm ayrıca toplu işlemden bağımsız çıkarım, deterministik örnekleme ve yapılandırılmış çıktıları kapsıyor. Toplu işlemden bağımsız çıkarım ve deterministik örnekleme yalnızca Nvidia donanımında çalışıyor. Kernel listesi özel TileLang kernel'lerini içeriyor ve Huawei Ascend 950 çiplerini kapsıyor.

Dağıtım sınırları ve gereksinimler

Sürüm çevrimdışı çıkarım sağlıyor ve tam bir çıkarım hizmetinin bazı bölümlerini içermiyor. DeepSeek, kullanıcıların bir KV önbellek sistemi, prefill ve decode ayrıştırması ile hem prefill hem de decode için veri-paralel kopyalar arasında yük dengeleme sağlaması gerektiğini söyledi.

DeepInfer, Linux, GCC 13.0 veya üzeri ve Python 3.12, ayrıca Nvidia donanımında CUDA 13 veya Ascend üzerinde CANN 9.2 gerektiriyor. Apache License 2.0 altında yayımlanıyor. DeepSeek, çerçevenin başlangıçta öncelikle vLLM üzerine inşa edildiğini, SGLang ve TensorRT-LLM'den ek ilham alındığını söyledi.

Sürüm neden önemli

Bloomberg, sürümün DeepSeek'in gelişmiş yapay zeka için çıkarım maliyetlerini düşük tutmak için güvendiği yöntemleri ortaya çıkardığını, yapay zeka şirketlerinin böyle teknikleri korumaya eğilimli olduğunu söyledi. DeepSeek modellerini bulutta barındıran veya çalıştıran firmalar bu yöntemleri kendi başlarına uygulayabilir; Bloomberg, belirli bir modeli sunma fiyatının hizmet yazılımına göre büyük ölçüde değişebileceğini söyledi.

Bloomberg'e göre henüz harici bir taraf DeepInfer'ın verimlilik kazanımlarını kıyaslamadı. Çerçeve DeepSeek'in kendi modellerine uygulanabilir, ancak harici geliştiriciler kodu okuyabilir ve kendi sistemleri için tekniklerini ödünç alabilir. Geçen ay DeepSeek, Ascend çipleri için programlama araçları geliştirmek amacıyla Huawei ile bir ortaklık duyurdu ve platform için altı yazılım modülünü açık kaynak olarak sundu; bunlar arasında Ascend 950'ye uyarlanmış bir TileLang sürümü de var.

Kaynaklar: Quartz · GitHub · Bloomberg · Techmeme