Edge0 відкриває код 145B ШІ-моделі, що працює на пристрої, для локального інференсу на ноутбуці

Edge0 відкрила код Edge0-145B і Edge0-120B разом із єдиною системою інференсу та інструментами розгортання. Edge0-145B описують як першу відкриту on-device ШІ-модель із 145 мільярдами параметрів, що забезпечує можливості програмування, міркування та агентів, які конкурують із передовими хмарними моделями. Компанія каже, що вона може працювати локально на сумісному ноутбуці з піковою пам'яттю 29GB і декодувати понад 80 токенів за секунду.

Локальна продуктивність і дизайн

Про Edge0-145B повідомляють, що вона використовує 29GB пікової пам'яті, обробляє промпти зі швидкістю понад 1,100 токенів/с, генерує понад 80 токенів/с, споживає приблизно 120W типової потужності та підтримує контекст від 128K до 256K. Її дизайн спільно використовує великі матриці між групами з 64 розріджених експертів, тому в кожному кроці інференсу бере участь лише близько 10B із 145B параметрів. Активні експерти залишаються в пам'яті GPU, бібліотека експертів приблизно 40GB розміщується в системній пам'яті, а близько 48GB даних словника зберігається на SSD. CPU і GPU працюють паралельно, а спекулятивне декодування одночасно перевіряє кілька кандидатних токенів. Edge0-35B, рання модель для телефонів, повідомляла про пікову пам'ять нижче 2.5GB і швидкість понад 37 токенів/с на iPhone 18 Pro Max; ці вимірювання стосуються іншої моделі та іншого обладнання.

Бенчмарки, пам'ять і локальні робочі процеси

Edge0-145B набирає 64.6 бала в DeepSWE 1.1, 86.52 в Terminal-Bench 2.1, 35.4 в HLE, 90.4 в GPQA-Diamond, 80.6 в IFBench і 79.3 в AA-LCR. Середнє значення за цими шістьма бенчмарками становить 72.8 при виміряній піковій пам'яті 29GB, порівняно з 71.7 у Qwen3.8-Flash-Next і орієнтовним обсягом 70GB для стандартного 4-бітного розгортання. Відносно Qwen3.8-27B приріст становить 18.5% у Terminal-Bench і 53.1% у DeepSWE, а також 14.9% у HLE, 1.3% у GPQA і 1.4% в IFBench. Модель може планувати, писати й запускати код, виправляти помилки та візуально перевіряти результати. Серед демонстрацій: пояснювальне відео Roadster протягом години, 3D-сцена Манхеттена в Blender протягом години, 20-секундний проліт над середньовічним містом, програма навігації дрона і дизайн друкованої плати з анімацією складання. Компанія каже, що сцена масштабу Манхеттена вручну коштувала б приблизно $12,000-18,000 і тривала б щонайменше місяць, тоді як провідна хмарна модель створила б понад $150 хмарних витрат на токени. Локальний інференс не має відповідних хмарних витрат на токени або API, хоча апаратне забезпечення та електроенергія все одно коштують грошей.

Платформа, портфоліо та екосистема

Edge0-145B підтримує macOS, Windows і Linux з першого дня, зокрема чипи Apple M-серії та платформи NVIDIA, такі як RTX Spark, RTX 4090 і RTX 5090. Edge0 випустила 200 моделей у чотирьох сімействах: Edge0 для складних агентних завдань і vibe coding, Audio8 для слухання та мовлення, Decision0 для швидких рішень і Embedding0 для пам'яті. Її портфоліо охоплює 95% основних чипових платформ, працює на понад 5 мільйонах пристроїв у виробництві, перевищило 15 мільйонів завантажень за три місяці та досягло понад 110,000 організацій-клієнтів станом на жовтень 2026 року. Публікація про запуск Edge0-35B у вересні перевищила 1.2 мільйона переглядів у перший день, а Edge0 і Audio8 обидві посіли №1 у чарті Trending на Hugging Face. Локальний інференс може зберігати код і дані на комп'ютері, підтримувати основні можливості в офлайн-режимі та уникати хмарних витрат на токени або API зі зростанням використання.

Джерела: edge0.ai