DeepSeek опублікувала звіт про DSec: платформа пісочниць для навчання AI-агентів

19 вересня DeepSeek опублікувала на arXiv технічний звіт про DeepSeek Elastic Compute (DSec), виробничу систему для навчання й оцінювання агентних моделей. Під час RL модель виконує команди, читає файли та викликає інструменти в ізольованих середовищах, і саме це навантаження найбільше тисне на інфраструктуру.

За звітом, одна виробнича одиниця охоплює майже 160 вузлів CPU із 30 000 ядер та близько 250 ТБ DRAM. За типовий день вона обслуговує приблизно 3 мільйони пісочниць, пікова одночасність сягає 380 000, а швидкість створення перевищує 5 000 за секунду.

Один SDK і чотири типи пісочниць

DSec надає чотири типи бекендів через один Python-клієнт libdsec: FnCall для коротких завдань без стану, контейнери для програмної інженерії та роботи з інструментами, microVM на базі Firecracker для міцнішої ізоляції та повні віртуальні машини там, де потрібна ціла операційна система, наприклад Android. Автори зазначають, що жодна єдина абстракція пісочниці не покриває всі агентні завдання.

Кожне середовище збирається з незалежно версіонованих шарів: базового образу, робочого простору з репозиторієм завдання та toolkit-ів, що часто оновлюються. Вони об'єднуються через overlayfs, а не зливаються в один монолітний образ. За один виробничий тиждень платформа обслужила понад 11 000 базових образів і понад 102 000 робочих просторів.

Щільність, пам'ять і 3FS

Пісочниці агентів мають стан і більшість часу простоюють: близько 90% контейнерів і microVM використовують не більше ніж 5% замовленого CPU. Тому DSec ущільнює вузли: до 3 200 контейнерів або 800 microVM на одному, а оптимізації virtio-pmem і DAMON знижують пікове споживання пам'яті хоста на 40,2% та інтегроване в часі на 21,2%. Для чутливих до затримки завдань SCHED_IDLE разом із core scheduling зменшує сповільнення від SMT із 45,2% до 17,3%.

Дані образів завантажуються на вимогу з 3FS, розподіленої файлової системи DeepSeek, а метадані EROFS залишаються локальними. Під час сплеску з 8 192 контейнерів попереднє завантаження повних образів подовжило виконання у 1,71 раза та записало на 57% більше даних: пісочниці звертаються лише до 4-13% вмісту образів.

Спільне проєктування з RL-фреймворком

DSec створювали разом із RL-фреймворком DeepSeek. Завдання навчання на GPU регулярно перериваються, тож виконання rollout-ів перенесли на DSec, поза пул GPU для навчання; запит на паузу дає платформі змогу звільнити пам'ять, зберігаючи стан пісочниці. У звіті також описано небажану поведінку агентів і заходи проти неї: контроль доступу AppArmor та мережеві allowlist-и eBPF. Компоненти сховища, написаний на Rust OverlayBD і бібліотека ublk, відкрили як open source.