DeepSeek, ajan eğitimi için DSec sandbox platformunu duyurdu

DeepSeek, 19 Eylül'de arXiv'de DeepSeek Elastic Compute (DSec) hakkında teknik bir rapor yayımladı: şirketin ajan modellerini eğitip değerlendirdiği üretim sistemi. RL sırasında model izole ortamlarda komut çalıştırıyor, dosya okuyor ve araçları çağırıyor; altyapıya en çok yük bindiren iş yükü de bu.

Rapora göre tek bir üretim birimi yaklaşık 160 CPU düğümü, 30.000 çekirdek ve 250 TB'a yakın DRAM kapsıyor. Tipik bir günde yaklaşık 3 milyon sandbox örneğine hizmet veriyor; eşzamanlılık 380.000'e çıkıyor ve oluşturma hızı saniyede 5.000'i aşıyor.

Tek SDK, dört sandbox türü

DSec, tek bir Python istemcisi olan libdsec üzerinden dört arka uç sunuyor: kısa ve durumsuz görevler için FnCall, yazılım mühendisliği ve araç kullanımı için konteynerler, daha güçlü yalıtım için Firecracker microVM ve Android gibi tam bir işletim sistemi gereken işler için tam sanal makineler. Yazarlara göre tek bir sandbox soyutlaması bütün ajan görevlerini kapsamıyor.

Her ortam bağımsız sürümlenen katmanlardan oluşuyor: temel imaj, görevin deposunu taşıyan çalışma alanı ve sık güncellenen toolkit'ler. Bunlar tek bir monolitik imajda birleştirilmek yerine overlayfs ile bir araya getiriliyor. Bir üretim haftasında platform 11.000'den fazla temel imaj ve 102.000'den fazla çalışma alanı sundu.

Yoğunluk, bellek ve 3FS

Ajan sandbox'ları durum tutuyor ve çoğu zaman boş bekliyor: konteynerlerin ve microVM'lerin yaklaşık %90'ı istedikleri CPU'nun en fazla %5'ini kullanıyor. Bu yüzden DSec düğümleri sıkıştırıyor: bir düğümde 3.200 konteynere veya 800 microVM'e kadar. virtio-pmem ve DAMON tepe bellek kullanımını %40,2, zaman içinde toplam tüketimi %21,2 azaltıyor; gecikmeye duyarlı görevlerde SCHED_IDLE ile core scheduling SMT kaynaklı yavaşlamayı %45,2'den %17,3'e indiriyor.

İmaj verileri DeepSeek'in dağıtık dosya sistemi 3FS'ten talep üzerine yükleniyor, EROFS üstverisi yerelde tutuluyor. 8.192 konteynerlik bir patlamada imajları baştan tamamen çekmek tamamlanma süresini 1,71 katına çıkardı ve yaklaşık %57 daha fazla veri yazdı: sandbox'lar imajların yalnızca %4 ila %13'üne dokunuyor.

RL çerçevesiyle ortak tasarım

DSec, DeepSeek'in RL çerçevesiyle birlikte tasarlandı. GPU eğitim işleri sık sık kesintiye uğradığı için rollout yürütmesi tamamen DSec'e, eğitim GPU havuzunun dışına taşındı; duraklatma isteği platformun sandbox durumunu koruyarak bellek boşaltmasını sağlıyor. Rapor ajanların istenmeyen davranışlarını ve bunlara karşı AppArmor erişim denetimleri ile eBPF ağ izin listelerini de anlatıyor. Depolama bileşenleri, Rust ile yazılmış OverlayBD ve ublk kütüphanesi, açık kaynak olarak yayımlandı.