Tencent випустила та відкрила код Hy4 preview: 770 млрд параметрів і контекст на 1 млн токенів

Tencent 28 серпня випустила та відкрила код Tencent Hy4 preview — мовну модель нового покоління із 770 млрд загальних і 49 млрд активних параметрів та контекстним вікном понад один мільйон токенів. За словами компанії, модель створена для реальних продуктивних задач: програмування, офісної роботи та наукових досліджень.

Доступність і ціни

Hy4 preview доступна як відкрита модель і глобально — через WorkBuddy, CodeBuddy, Yuanbao, ima та інші продукти Tencent; підключення через API можливе через Tencent Cloud TokenHub і OpenRouter. На старті модель безкоштовна у WorkBuddy та CodeBuddy протягом двох тижнів, а безкоштовний доступ до Hy3 на обох платформах продовжено до 30 вересня. Ціни API: 0,834 долара за мільйон вхідних токенів, 2,501 долара за мільйон вихідних і 0,042 долара за мільйон токенів за влучання в кеш.

Внутрішня оцінка й можливості

У внутрішньому сліпому оцінюванні за участю 163 експертів і 203 інженерних задач Hy4 preview отримала в середньому 2,99 бала з 4,00 — трохи попереду GLM-5.3 (2,92) і Kimi K3 (2,94). Модель навчали на якісних даних, створених разом з експертами Tencent у сферах програмної інженерії, ігор, фінансів і безпеки. У програмуванні вона краще працює з довгим контекстом: розуміння, планування, налагодження й перевірка, а також якість фронтенд-інтерфейсів; в офісних та аналітичних сценаріях підсилено фінансовий аналіз і спільну роботу з документами, таблицями й презентаціями; у розробці ігор вона генерує грабельний прототип з одного запиту природною мовою; у науці — покращення в AI-дослідженнях, симуляції молекулярної динаміки, фізиці конденсованого стану та фундаментальній математиці.

Самовдосконалення та інференс

Помітна деталь: Hy4 preview уперше взяла участь у власній розробці — в автоматичній оптимізації методів навчання, стратегій даних, оцінювальних фреймворків і низькорівневих операторів. Вона пропонувала підходи, проводила експерименти та ітерувала за результатами, а код, логи й відгуки потрапляли в наступні раунди, що утворило ранній цикл рекурсивного самовдосконалення. Модель також самостійно проаналізувала вузькі місця своєї інференс-системи й провела кілька раундів оптимізації об'єднання операторів та комунікацій, підвищивши наскрізну пропускну здатність на 31,8% порівняно з базовою, зі стабільним виграшем за різних довжин контексту й рівнів навантаження. Компанія каже, що наступні моделі серії Hy4 з'являться незабаром.