Apertus 1.5 додає відкритим моделям 8B та 70B мультимодальне сприйняття та довший контекст

Основні покращення

Apertus 1.5 додає відкритим моделям 8B та 70B власне мультимодальне сприйняття, яке передбачає прийом зображень та аудіо разом із текстом. Моделі мають обиральний режим міркування, 4-разове довше контекстне вікно на 262 144 токени, покращене виконання інструкцій та краще використання інструментів. Ваги моделі були опубліковані на Hugging Face 24 липня 2026 року під ліцензією Apache 2.0.

Мультимодальність вбудована раннім злиттям: зображення токенізуються токенізатором Emu3.5, а аудіо — WavTokenizer, і перетворюються на дискретні токени в тій самій послідовності, що й текст. Моделі розуміють зображення та аудіо, однак генерують лише текст.

Процес навчання

Моделі пройшли розширене попереднє навчання з додатковими 4 трильйонами токенів для 8B та 2 трильйонами для 70B, через що сукупні показники зросли до 19 та 17 трильйонів. Попереднє навчання проходило в чотири етапи: незпароване (текст, зображення, аудіо), спарене (пари зображення-підпис та аудіо-транскрипт), охолодження (якісніші дані з математикою та кодом) та розширення довгого контексту з 8k до 262k токенів. Понад половина всіх навчальних токенів знову є лише текстом, що зберігає мовні можливості Apertus 1.0.

Пост-навчання та вирівнювання

Пост-навчання пройшло у п'ять етапів: SFT на 3,7 мільйонах текстових прикладах плюс додаткові дані зі зображеннями та мовою; SFT з довгим контекстом з повним вікном 262k; RL з перевірюваними винагородами приблизно на 350k промптах; DPO на парах, оцінених суддею; та SDPO для вирівнювання з людьми. Ланцюжки міркувань додавалися лише до тих промптів, які модель не могла розв'язати без них. Дані використання інструментів були обмежені лише траєкторіями, перевіреними виконанням. Проміжні чекпоінти та відібрані набори даних публічно доступні на Hugging Face.

Оцінка та відтворюваність

Оцінка була розширена мультимодальними бенчмарками та бенчмарками режиму міркування. Apertus 1.5 8B перевершує моделі з відкритими вагами аналогічного розміру у виконанні інструкцій та багатомовних задачах, а також є конкурентоспроможною в мультимодальних оцінках з просторового та документального розуміння. Проєкт співпрацює з EvalEval Coalition та публікує результати за схемою Every Eval Ever, де зафіксовано умови запуску та параметри генерації для повної прозорості.

Моделі доступні у таких провайдерів, як Swisscom, Infomaniak та Phoeniqs, і на Hugging Face вони перевищили п'ять мільйонів завантажень. На AI+X Summit у Цюриху команда оголосила план Apertus 2.0, який має на меті архітектуру sparse/MoE з приблизно 600B сумарних параметрів, а пріоритетами є агенти, математика та кодування.

Джерела: Hugging Face Blog