doubleAI представляє Maxwell, модель виконання коду, що оптимізує роботу коду

Maxwell оптимізує код під час його роботи

doubleAI, ізраїльський стартап із Тель-Авіву, заснований у 2023 році, представив Maxwell у понеділок. Модель виконання коду оцінює, оптимізує і переписує двійковий код під час виконання. Вона названа на честь демона Максвелла, думкового експерименту з ентропією, який Джеймс Клерк Максвелл задумав у 1867 році, і попередньо обробляє алгоритми та машинні інструкції, щоб максимізувати продуктивність на доступному обладнанні.

Maxwell схожий за концепцією на компілятор JIT, але він більш гнучкий і формально перевіряє еквівалентність коду заміни. Вихідний код не змінюється. Співзасновник Гал Беніяміні, який має ступінь доктора філософії з теоретичної інформатики, сказав, що компілятор не може виконувати високорівневі міркування, наприклад змінювати алгоритм. Maxwell бачить точне обладнання, форми й типи даних, що проходять через програму, стан середовища, що ще виконується, і за яких умов з’являються вузькі місця.

Повідомлене прискорення та перевірки безпеки

doubleAI заявила, що Maxwell зробив конвеєри даних понад 38x швидшими, а ядра інференсу ШІ понад 4.5x швидшими. LTX-2.5, відкрита модель світу, що генерує відео 4K, з Maxwell працювала майже вдвічі швидше. Оптимізації зменшили обмін даними між GPU та покращили вибір ядер, щоб усунути зайве заповнення токенів.

Беніяміні сказав, що Maxwell найкраще працює з алгоритмічним кодом, який можна нетривіально адаптувати до обладнання. Він додав, що код Python і графи PyTorch все ще можуть отримувати масштабні оптимізації, оскільки вони часто далекі від оптимальних. Maxwell також може вирішувати питання безпеки, доводячи відсутність помилок пам’яті. Він сказав, що компанія знайшла випадки в самому Python, де Python не був безпечним щодо пам’яті, і Maxwell підтвердив, що це так.

Розгортання та довіра

Трасування та профілювання Maxwell мають максимальні накладні витрати 2%, а нульові, коли трасування не ведеться. Беніяміні сказав, що оптимізації окупають цю ціну, а doubleAI також застосовує Maxwell до самого середовища виконання, щоб повернути загальне рівне прискорення набагато більше ніж 2%. Розробники встановлюють середовище виконання та запускають свій код, а модель Maxwell розміщується у doubleAI, що вимагає певної довіри.

Амнон Шашуа, співзасновник і CEO doubleAI, сказав, що ШІ змінила те, як пишеться програмне забезпечення, і зараз змінює те, як воно працює. Він описав моделі виконання коду як агентів від імені обладнання, а не агентів коду від імені людського користувача, назвавши Maxwell першим ШІ, який працює для машини, а не для програміста.

Джерела: The Register · doubleAI