
Artificial Analysis: GPT-6.2 Astra і Sol відповідають швидше, але поступаються Claude за прозорістю
Оцінка Artificial Analysis показує, що моделі OpenAI GPT-6.2 Astra і Sol дають відповіді на 34-40% коротші та рідше визнають невизначеність, тоді як моделі Anthropic Claude отримують вищі бали за прозорість і структуру.
Оцінка Artificial Analysis показує, що моделі OpenAI GPT-6.2 Astra і Sol дають відповіді на 34-40% коротші за попередників і безпосередньо відповідають на запитання. Та сама оцінка оцінює їхню схильність визнавати невизначеність набагато нижче, ніж раніше, а порівняння з Anthropic Claude Fable 5.2 і Opus 5.5 показує нижчі бали за структуру та прозорість.
Коротші та пряміші відповіді
Середня довжина відповіді Astra зменшилася з 352 до 210 слів, тобто на 40 відсотків. У Sol середня довжина змінилася з 337 до 223 слів, тобто зменшилася на 34 відсотки. Обидві моделі також використовують набагато менше заголовків і довгих тире. Середня кількість заголовків на відповідь Astra впала з 1,99 до 0,11, а у Sol з 1,85 до 0,25.
Індекс організації також різко знизився. У Astra він змінився з 70 до 11, а у Sol з 86 до 27. Цей індекс поєднує чотири риси, які оцінюють AI-судді, зокрема структуру відповіді, ясність і Answer First, що вимірює, чи модель одразу відповідає на реальне запитання. За цією останньою рисою бал Astra піднявся з 49 до 89, а у Sol з 64 до 87. Бали за природне звучання мови також зросли: з 58 до 100 для Astra і з 54 до 79 для Sol.
Прогалини у прозорості та організації
Найбільша зміна помітна в рисі визнання невизначеності. Бал Astra впав з 96 до 24, а у Sol з 98 до 51. Artificial Analysis зазначає, що ці бали особистості є відносними рейтингами за шкалою від 1 до 100, а не відсотками. Бал 24 не означає, що Astra визнає невизначеність лише у 24 відсотках своїх відповідей.
Моделі Anthropic лідирують за прозорістю та структурою. За індексом прозорості Claude Fable 5.2 має 81 бал, а Opus 5.5 має 90, що вище за 41 у Astra і 57 у Sol. Цей індекс охоплює п'ять рис: визнання невизначеності, правдивість, відмову від припущень, позначення нюансів і підлещування. Підлещування оцінюється обернено, оскільки менша кількість лестощів вважається позитивним результатом.
Anthropic також лідирує за організацією. Opus 5.5 має 79 балів, Fable 5.2 має 54, Astra має 11, а Sol має 27. Opus 5.5 вирізняється за індексом інформативності з балом 90, значно випереджаючи Fable 5.2 з 47 балами, Sol з 38 і Astra з 31. Його найсильніші окремі риси включають насиченість інформацією та міркування на основі доказів. Він також входить до найкращих моделей у цьому бенчмарку за щільністю інформації.
Як працює бенчмарк
AA-PersonalityBench використовує 900 тестових запитань англійською мовою, на які кожна модель відповідає без системного промпту. Панель із трьох AI-моделей оцінює анонімізовані пари відповідей. Для кожного порівняння один AI-суддя обирає, яка відповідь сильніше проявляє тестовану рису особистості, або оголошує нічию. Artificial Analysis обчислює бали для 30 окремих рис особистості, які входять до восьми індексів вищого рівня. У всіх порівняннях використовують максимальні варіанти моделей, перелічені Artificial Analysis, і варіанти моделей із максимальними зусиллями міркування.
Окремо Artificial Analysis вимірює 21 комунікаційну рису, які підраховують безпосередньо, а не оцінюють AI-судді. Серед них середня довжина відповіді та кількість заголовків і довгих тире на відповідь. Значення індексів від 1 до 100 відображають відносне положення кожної моделі серед усіх протестованих моделей. Бали особистості описують відмінності в стилі спілкування, а не загальну якість відповідей. Нижчий індекс прозорості не обов'язково означає, що модель частіше дає неправильні відповіді.
Раніше висвітлювали: OpenAI представляє GPT-6.2 Astra і GPT-6.2 Sol
Джерела: The Decoder
SiTech — веброзробка з підтримкою AI
Створюємо швидкі та сучасні сайти й інтегруємо AI у бізнес-процеси. Маєте проєкт чи запитання? Із задоволенням допоможемо.