უკან დაბრუნება

Artificial Analysis: GPT-6.2 Astra და Sol უფრო სწრაფად პასუხობენ, თუმცა გამჭვირვალობაში Claude-ს ჩამორჩებიან
SiTech AI Team3 წთ. საკითხავი

Artificial Analysis: GPT-6.2 Astra და Sol უფრო სწრაფად პასუხობენ, თუმცა გამჭვირვალობაში Claude-ს ჩამორჩებიან

Artificial Analysis-ის შეფასებით, OpenAI-ს GPT-6.2 Astra და Sol 34-იდან 40 პროცენტამდე მოკლე პასუხებს აძლევენ და ნაკლებად აღიარებენ გაურკვევლობას, Anthropic-ის Claude მოდელები კი გამჭვირვალობასა და სტრუქტურაში მაღალ ქულებს იღებენ.

Artificial Analysis-ის შეფასებით, OpenAI-ს GPT-6.2 Astra და Sol წინამორბედებზე 34-იდან 40 პროცენტამდე მოკლე პასუხებს აძლევენ და კითხვებს უფრო პირდაპირ პასუხობენ. იმავე შეფასებით, გაურკვევლობის აღიარება წინანდელზე გაცილებით დაბალია, Anthropic-ის Claude Fable 5.2-სა და Opus 5.5-თან შედარებით კი სტრუქტურასა და გამჭვირვალობაში უფრო დაბალი ქულები აქვთ.

უფრო მოკლე და პირდაპირი პასუხები

Astra-ს პასუხის საშუალო სიგრძე 352-იდან 210 სიტყვამდე შემცირდა, ანუ 40 პროცენტით. Sol-ის შემთხვევაში 337-იდან 223 სიტყვამდე, ანუ 34 პროცენტით. ორივე მოდელი გაცილებით ნაკლებ სათაურსა და em ტირეს იყენებს. პასუხზე სათაურების საშუალო რაოდენობა Astra-ს შემთხვევაში 1,99-იდან 0,11-მდე დაეცა, Sol-ის შემთხვევაში კი 1,85-იდან 0,25-მდე.

გამჭვირვალობისა და ორგანიზებულობის ხარვეზები

Organization Index მაჩვენებელიც მკვეთრად დაეცა: Astra 70-იდან 11-მდე, Sol 86-იდან 27-მდე. ინდექსი აერთიანებს AI მსაჯების მიერ შეფასებულ ოთხ მახასიათებელს, მათ შორის პასუხის სტრუქტურას, სიცხადეს და Answer First მაჩვენებელს, რომელიც ამოწმებს, მოდელი მაშინვე პასუხობს თუ არა კითხვას. ამ მახასიათებელში Astra 49-იდან 89-მდე ავიდა, Sol 64-იდან 87-მდე. Natural Sounding ენის ქულებიც გაიზარდა: Astra-ს შემთხვევაში 58-იდან 100-მდე, Sol-ის შემთხვევაში 54-იდან 79-მდე.

ყველაზე დიდი ცვლილება Admits Uncertainty მახასიათებელში ჩანს. Astra-ს ქულა 96-იდან 24-მდე დაეცა, Sol-ის 98-იდან 51-მდე. Artificial Analysis განმარტავს, რომ ეს ქულები ფარდობითი რეიტინგებია 1-იდან 100-მდე შკალაზე და არა პროცენტები. 24 ქულა არ ნიშნავს, რომ Astra პასუხების მხოლოდ 24 პროცენტში აღიარებს გაურკვევლობას.

Anthropic-ის მოდელები გამჭვირვალობასა და სტრუქტურაში ლიდერობენ. Transparency Index მაჩვენებლის მიხედვით, Claude Fable 5.2 იღებს 81 ქულას, Opus 5.5 90 ქულას, Astra 41 ქულას, Sol კი 57 ქულას. ინდექსი ხუთ მახასიათებელს მოიცავს: Admits Uncertainty, Truthful, Disclaims Assumptions, Flags Nuances და Sycophantic. Sycophantic საპირისპიროდ ფასდება, რადგან ნაკლები მლიქვნელობა დადებითია.

Anthropic ორგანიზებულობაშიც ლიდერობს: Opus 5.5 79 ქულა, Fable 5.2 54, Astra 11, Sol 27. Opus 5.5 გამოირჩევა Informativeness Index მაჩვენებელზეც 90 ქულით, რაც ბევრად მეტია Fable 5.2-ის 47, Sol-ის 38 და Astra-ს 31 ქულაზე. მის ძლიერ მახასიათებლებს შორისაა Information Dense და Evidence-Based reasoning. ინფორმაციის სიმჭიდროვით ის ბენჩმარკის ტოპ მოდელებშია.

როგორ მუშაობს ბენჩმარკი

AA-PersonalityBench ბენჩმარკის 900 ინგლისურენოვან კითხვაზე მოდელები სისტემური პრომპტის გარეშე პასუხობენ. სამი AI მოდელი ანონიმიზებულ წყვილებს აფასებს; თითო შედარებაში ერთი AI მსაჯი ირჩევს უფრო გამოკვეთილ პასუხს ან ფრეს აფიქსირებს. Artificial Analysis 30 მახასიათებლის ქულას ითვლის, რომლებიც რვა ინდექსში გაერთიანდება. შედარებები იყენებს Artificial Analysis-ის max ვარიანტებსა და მაქსიმალური reasoning effort-ის ვარიანტებს.

ცალკე Artificial Analysis 21 კომუნიკაციურ მახასიათებელს ზომავს, რომლებიც უშუალოდ ითვლება და AI მსაჯები არ აფასებენ. მათ შორისაა პასუხის სიგრძე, სათაურებისა და em ტირეების რაოდენობა. 1-იდან 100-მდე ინდექსი თითოეული მოდელის ფარდობით პოზიციას ასახავს ყველა გატესტილ მოდელს შორის. პიროვნების ქულები კომუნიკაციის სტილს აღწერენ და არა პასუხის საერთო ხარისხს. Transparency Index მაჩვენებლის დაბალი მნიშვნელობა არ ნიშნავს, რომ მოდელი უფრო ხშირად არასწორ პასუხებს იძლევა.

ადრე გამოქვეყნებული: OpenAI წარადგენს GPT-6.2 Astra-სა და GPT-6.2 Sol-ს

წყაროები: The Decoder

გააზიარე ციფრული გამოცდილება

SiTech

SiTech — AI-გაძლიერებული ვებ დეველოპმენტი

ვქმნით სწრაფ, თანამედროვე ვებსაიტებს და AI-ს ვაერთიანებთ ქართული ბიზნესებისთვის. გაქვთ პროექტი ან კითხვა? სიამოვნებით დაგეხმარებით.