LiquidAI випустила модель міркувань LFM2.5-24B-A2B для AI-агентів, що працюють на пристроях

LiquidAI випустила LFM2.5-24B-A2B, модель з відкритими вагами, орієнтовану на міркування, яка повністю обробляє швидких і приватних AI-агентів на пристрої. Модель використовує суміш експертів: всього 24B параметрів, лише 2B активних на токен, що робить безперервне агентне навантаження доступним на користувацькій техніці.

Архітектура та навчання

LFM2.5-24B-A2B базується на LFM2-24B-A2B: 40 шарів, 64 експерти на кожному MoE-блоці з top-4 маршрутизацією, гібрид гейтованих коротких конволюцій та згрупованої query attention. Контекст зростає від 32K до 131K токенів, а словник подвоюється з 65K до 128K для нелатинських мов. Це модель лише для міркувань і створює ланцюжок роздумів до відповіді.

Попереднє навчання зросло з 17T до 33T токенів. Проміжне навчання додало 2T токенів з 32K контекстом, з акцентом на міркування, математику, код, інструкції та багатомовний текст, і 300B токенів з 131K контекстом, з акцентом на довгий контекст. Виклик інструментів і багатотурні траєкторії присутні на обох етапах.

Після навчання модель стає агентом за п'ять етапів: наглядне доопрацювання, спеціалізація вчителя, багатодоменна on-policy дистиляція для неагентних завдань, друга дистиляція для агентних завдань та агентне reinforcement learning у харнесах OpenClaw, Hermes Agent, Pi та OpenCode.

Бенчмарки

LiquidAI протестувала модель на 16 бенчмарках: інструменти, агентні процеси, знання, інструкції, математика та код. Порівняння з Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it та Nemotron-3.5-Lightning. Найменша модель LFM2.5-24B-A2B набрала 48,09 на LiveClaw проти 38,19 у Qwen3.6-35B-A3B, а на AutomationBench — 27,69 проти 8,72 у наступного найкращого.

Модель випереджає або наближається до конкурентів у восьми бенчмарках використання інструментів і п'яти агентних бенчмарках (AutomationBench, BFCLv4, ToolSandbox, LiveClaw, tau3-Bench Banking) та на всіх трьох бенчмарках інструкцій (IFEval, IFBench, Multi-IF). Великі моделі зберігають перевагу на бенчмарках, що вимагають знань, таких як GPQA Diamond, HLE, AA-Omniscience, та на бенчмарках коду, наприклад SWE-Bench Verified, SciCode. Для інтенсивних завдань з знаннями LiquidAI рекомендує використовувати retrieval або веб-пошук.

Інференс та доступність

Модель підтримується з першого дня в llama.cpp, MLX, vLLM, SGLang та ONNX. На edge-пристроях декодує 184 токени за секунду на Apple M5 Max, 114 токенів за секунду на Ryzen AI Max+ 395, у 1,7 рази швидше за наступного найкращого та з найменшим споживанням пам'яті. На одному NVIDIA B300 GPU з високою конкурентністю досягає понад 21 000 вихідних токенів за секунду.

LFM2.5-24B-A2B та LFM2.5-24B-A2B-Base мають відкриті ваги та доступні на Hugging Face. Моделі потрібен transformers 5.0.0 або новіший, і вона локально працює з будь-яким OpenAI-сумісним backend, Hermes Agent, llama.cpp, vLLM, SGLang та LM Studio харнесами.

Джерела: Hugging Face Blog