Назад

Ентузіаст запустив модель Kimi з 2,8 трлн параметрів на двох RTX 3090 і Optane зі швидкістю 3,11 т/с
SiTech AI Team3 хв читання

Ентузіаст запустив модель Kimi з 2,8 трлн параметрів на двох RTX 3090 і Optane зі швидкістю 3,11 т/с

Ентузіаст домашньої лабораторії вдосконалив другу збірку на Optane, додавши дві RTX 3090, щоб запустити модель Kimi K3 від Moonshot із 2,8 трлн параметрів зі швидкістю 3,11 токена за секунду; RAM-диск підвищив генерацію приблизно на 41%.

Ентузіаст домашньої лабораторії описав удосконалення другої збірки штучного інтелекту на Optane у подальшому дописі на Reddit, додавши дві RTX 3090 для запуску моделі Kimi K3 від Moonshot із 2,8 трлн параметрів зі швидкістю 3,11 токена за секунду. Перенесення майже половини моделі до RAM-диска підвищило швидкість генерації приблизно на 41% і оцінювання запиту приблизно на 26%. Збірці досі потрібні додаткові вентилятори, бо пам'ять Optane дуже нагрівається.

Продуктивність з RAM-диском і без нього

З обома графічними процесорами, але без RAM-диска, збірка працювала зі швидкістю 2,20 токена за секунду для генерації та 13,3 токена за секунду для оцінювання запиту. Коли 45 із 94 шардів, або 414 GB із 865 GB моделі, розмістили в tmpfs RAM-диску, а решту в Optane, генерація досягла 3,11 токена за секунду, а оцінювання запиту досягло 16,8 токена за секунду. Вимірювання автора збірки використовували llama.cpp, а для частини Optane було увімкнено DAX.

Таке розташування не нове для ентузіастів, які виділяють системну пам'ять для надшвидкої продуктивності в псевдоневолатильному режимі, де вона виглядає як диск, хоча нині не в кожного є стільки вільної RAM.

Як використовуються графічні процесори та пам'ять

Дві RTX 3090 мають по 24 GB відеопам'яті кожна, або 48 GB загалом, що становить приблизно 5,5% від файлу моделі розміром 865 GB, тому вони не зберігають модель. Модель має тип суміші експертів з 896 експертами; на токен обирають 16, плюс два спільні, зі 104 млрд активних параметрів із 2,8 трлн. Тензори маршрутизованих експертів залишаються на боці процесора, в Optane і RAM-диску, тоді як RTX 3090 обробляють увагу, щільний шар прямого поширення, спільних експертів, інші активні щільні компоненти, KV-кеш, збережений контекст розмови та обчислювальні буфери графічного процесора.

DRAM повільніший за VRAM, але все ще здатний дати помітне прискорення, а швидкість із графічними процесорами була в межах того, що автор збірки очікував, після припущення десь між 2 і 4 токенами за секунду в початковій гілці збірки.

Розмір моделі та квантизація

Усі 2,8 трлн параметрів зайняли б близько 5,6 TB за 16-бітної точності. Власний реліз Moonshot використовує 4-бітний формат MXFP4 і має розмір близько 1,56 TB, тоді як файл Q2_K, використаний тут, стискає модель до 865 GB, тобто в середньому менше ніж 3 біти на параметр. У звіті зазначають, що значення 865 GB, ймовірно, виражене в гібібайтах, але використовують значення в гігабайтах так, як їх записав ентузіаст домашньої лабораторії.

Охолодження та плани на майбутнє

Встановлення графічних процесорів частково чекало на модифікації корпусу, які вимагали розрізання частини металу та перенесення блока живлення, щоб звільнити місце для графічних процесорів і їхнього охолодження. Охолодження залишається серйозною проблемою, а два 12W вентилятори типу blower для модулів Optane DIMM залишають на місці навіть із двома графічними процесорами класу 350W. Автор збірки бачить попереду ще оптимізації, зокрема «індивідуальну квантизацію», яка може бути схожою на техніки, що їх використовує юрист Нік Мермігес, і зазначає, що самої швидкості недостатньо, бо також треба враховувати якість виводу.

Джерела: Tom's Hardware

Поділитися цифровим досвідом

SiTech

SiTech — веброзробка з підтримкою AI

Створюємо швидкі та сучасні сайти й інтегруємо AI у бізнес-процеси. Маєте проєкт чи запитання? Із задоволенням допоможемо.