Apertus 1.5 açıq 8B və 70B modellərə çoxmodal anlama və daha uzun kontext əlavə edir

Əsas təkmilləşdirmələr

Apertus 1.5 açıq 8B və 70B modellərə doğma çoxmodal anlama imkanı əlavə edir ki, bu da mətn ilə birlikdə şəkillərin və audionu qəbul etməni nəzərdə tutur. Modellərdə seçimli düşüncə rejimi, 262 144 tokenlik 4 qat daha uzun kontext pəncərəsi, təkmilləşdirilmiş təlimat icrası və alətlərin daha yaxşı istifadəsi mövcuddur. Modelin çəkiləri Hugging Face-də 2026-cı ilin 24 iyulunda Apache 2.0 lisenziyası ilə dərc edilib.

Çoxmodalılıq erkən birləşmə ilə yerləşdirilib: şəkillər Emu3.5 tokenizatoru ilə tokenləşdirilir, audio isə WavTokenizer ilə, və mətn eyni ardıcıllıqda diskret tokenlərə çevrilir. Modellər şəkilləri və audionu anlayır, lakin yalnız mətn yaradır.

Təlim prosesi

Modellər 8B üçün əlavə 4 trilyon token, 70B üçün isə 2 trilyon token ilə uzatılmış ilkin təlimdən keçiblər, bu da ümumi göstəriciləri 19 və 17 trilyona qədər artırıb. İlkin təlim dörd mərhələdə baş verdi: cütlesiz (mətn, şəkil, audio), cütlesmiş (şəkil-mətn və audio-transkript cütləri), nəzərdən keçirmə (riyaziyyat və kod ilə daha yüksək keyfiyyətli məlumatlar) və uzun kontextin 8k-dan 262k tokenə qədər genişləndirilməsi. Bütün təlim tokenlərinin yarıdan çoxu yenə yalnız mətndir ki, bu da Apertus 1.0-un dil imkanlarını saxlayır.

Təlimin sonrakı mərhələ və düzəliş

Təlimin sonrakı mərhələ beş hissədə həyata keçirildi: 3,7 milyon mətn nümunəsi ilə SFT, əlavə olaraq şəkil və nitq məlumatları ilə; tam 262k pəncərə ilə uzun kontext SFT; təsdiqlənəbilən mükafatlar ilə təxminən 350k prompt üzərində RL; həkimin qiymətlərdiyi cütlərlə DPO; və SDPO karta ilə uyğunlaşdırmaq üçün. Fəkr izləri yalnız onlara promptlərə əlavə edildi ki, model onları onsuz həll edə bilmirdi. Alətlərdən istifadə məlumatları yalnız icra ilə yoxlanmış traektoriyalarla məhdudlaşdırıldı. Ara nöqtələr və seçilmiş məlumat dəstləri Hugging Face-də açıq şəkildə mövcuddur.

Qiymətləndirmə və təkrarlanma

Qiymətləndirmə çoxmodal və düşüncə rejimi benchmarkləri ilə genişləndirilib. Apertus 1.5 8B təlimat icrasında və çoxdilli tapşırıqlarda oxşar ölçülü açıq çəkili modelləri üstələyən kimi, məkan və sənəd anlaşması çoxmodal qiymətləndirmələrdə rəqabətqabiliyyətlidir. Layihə EvalEval Coalition ilə əməkdaşlıq edir və Every Eval Ever sxemi ilə nəticələri dərc edir ki, burada buraxılış şərtləri və generasiya parametrləri tam şəffaflıq üçün qeyd edilib.

Modellər Swisscom, Infomaniak və Phoeniqs kimi provayderlər üzərində mövcuddur və Hugging Face-də beş milyon yükləməni keçiblər. Zürixdə AI+X Summit-də komanda Apertus 2.0 planını elan edib ki, bu da təxminən 600B ümumi parametrlü sparse/MoE arxitekturasını hədəfləyir, isə prioritetlər agentlər, riyaziyyat və kodlaşdırma olacaq.

Mənbələr: Hugging Face Blog