Intel та AMD об'єднують оптимізації PyTorch для CPU в бібліотеці oneDNN

Що змінюється

Intel та AMD інтегрують свої оптимізації CPU для PyTorch в єдину бібліотеку, надаючи розробникам налаштування для чипів AMD та Intel через oneDNN. AMD підтримувала власну похідну версію oneDNN під назвою ZenDNN, і ця робота тепер переходить у відкритий проєкт oneDNN, опублікований UXL Foundation та керований Intel.

AMD також оголосила, що приєднується до UXL Foundation як член керівного комітету. Компанія заявляє, що ця роль впливає на майбутнє фонду за внесок у $20,000 на рік.

Чому це важливо для розробників

Бекенд oneDNN використовується для CPU-інференсу і створений для прискорення цього робочого навантаження для найновіших чипів Intel і тепер AMD у фреймворках на кшталт PyTorch. Коли oneDNN був доданий до PyTorch як бекенд наприкінці 2023 року, компанії заявляли про покращення у 1,24x для типу даних Float32 та 2,21x для BFloat16.

Згідно з GitHub oneDNN, бібліотека виявляє апаратні особливості під час виконання для генерації оптимізованих ядер для платформи, надає типи даних низької точності та включає оптимізовані інструкції для поширених операцій AI та машинного навчання, таких як множення матриць та згортка. Для розробників цей крок спрощує роботу з PyTorch на різних системах, гарантуючи, що один бекенд надає відповідні оптимізації для використовуваного обладнання.

Підтримка EAG та розширена підтримка

AMD заявляє, що об'єднання під oneDNN було рекомендовано x86 Ecosystem Advisory Group, спільною ініціативою, яка переважно існує між Intel та AMD і була створена у 2024 році. Дві компанії раніше співпрацювали через EAG, у тому числі над розширеннями ACE для x86, описаними раніше цього року.

Хоча оголошення зосереджене на x86, oneDNN є крос-платформовою бібліотекою, яка також працює на архітектурах Arm та RISC-V. Intel спочатку розробила oneDNN з існуючих раніше бібліотек глибокого навчання до того, як oneDNN було інтегровано в UXL Foundation. Intel була серед засновників UXL Foundation разом з Arm, Qualcomm, Google Cloud та іншими.

Джерела: Tom's Hardware