חזרה

Artificial Analysis: GPT-6.2 Astra ו-Sol עונים מהר יותר אך נחותים מ-Claude בשקיפות
SiTech AI Team3 דק׳ קריאה

Artificial Analysis: GPT-6.2 Astra ו-Sol עונים מהר יותר אך נחותים מ-Claude בשקיפות

הערכה של Artificial Analysis קובעת שמודלי GPT-6.2 Astra ו-Sol של OpenAI נותנים תשובות קצרות ב-34 עד 40 אחוז וממעטים להודות בחוסר ודאות, בעוד שמודלי Claude של Anthropic מקבלים ציונים גבוהים יותר בשקיפות ובארגון.

הערכה של Artificial Analysis מראה שמודלי GPT-6.2 Astra ו-Sol של OpenAI מייצרים תשובות קצרות ב-34 עד 40 אחוז מקודמיהם ומתייחסים לשאלות בצורה ישירה יותר. אותה הערכה מדרגת את נטייתם להודות בחוסר ודאות נמוך בהרבה מבעבר, והשוואה עם Claude Fable 5.2 ו-Opus 5.5 של Anthropic מראה ציונים נמוכים יותר במבנה ובשקיפות.

תשובות קצרות וישירות יותר

אורך התשובה הממוצע של Astra ירד מ-352 ל-210 מילים, ירידה של 40 אחוז. Sol ירד מ-337 ל-223 מילים, ירידה של 34 אחוז. שני המודלים גם משתמשים בהרבה פחות כותרות ובמקפים ארוכים. מספר הכותרות הממוצע לתשובה של Astra ירד מ-1.99 ל-0.11, ושל Sol מ-1.85 ל-0.25.

גם מדד הארגון ירד בחדות. Astra ירד מ-70 ל-11, ו-Sol מ-86 ל-27. המדד הזה משלב ארבע תכונות שמדורגות על ידי שופטי AI, כולל מבנה התשובה, בהירות ומענה תחילה, שמודד אם מודל מתייחס מיד לשאלה הממשית. בתכונה האחרונה, Astra זינק מ-49 ל-89 ו-Sol מ-64 ל-87. גם הציונים לשפה טבעית עלו, מ-58 ל-100 אצל Astra ומ-54 ל-79 אצל Sol.

פערים בשקיפות ובארגון

השינוי הגדול ביותר מופיע בתכונת ההודאה בחוסר ודאות. הציון של Astra ירד מ-96 ל-24, ושל Sol מ-98 ל-51. Artificial Analysis מציינת שציוני האישיות האלה הם דירוגים יחסיים בסולם מ-1 עד 100, לא אחוזים. ציון של 24 לא אומר ש-Astra מודה בחוסר ודאות רק ב-24 אחוז מתשובותיו.

המודלים של Anthropic מובילים בשקיפות ובמבנה. במדד השקיפות, Claude Fable 5.2 מקבל 81 ו-Opus 5.5 מקבל 90, מעל Astra עם 41 ו-Sol עם 57. המדד הזה מכסה חמש תכונות: הודאה בחוסר ודאות, אמיתי, הסתייגות מהנחות, סימון ניואנסים וחנפניות. תכונת החנפניות מדורגת באופן הפוך, מכיוון שפחות חנופה נחשבת לחיוב.

Anthropic גם מובילה בארגון. Opus 5.5 מקבל 79, Fable 5.2 מקבל 54, Astra מקבל 11, ו-Sol מקבל 27. Opus 5.5 בולט במדד האינפורמטיביות עם ציון של 90, הרבה לפני Fable 5.2 עם 47, Sol עם 38 ו-Astra עם 31. התכונות הבודדות החזקות שלו כוללות עומס מידע וחשיבה מבוססת ראיות. הוא גם מדורג בין המודלים המובילים במבחן לצפיפות מידע.

איך המבחן עובד

AA-PersonalityBench משתמש ב-900 שאלות מבחן באנגלית שכל מודל עונה עליהן בלי הנחיית מערכת. פאנל של שלושה מודלי AI מעריך זוגות תשובות אנונימיים. בכל השוואה, שופט AI אחד בוחר איזו תשובה מציגה את תכונת האישיות הנבדקת בצורה חזקה יותר, או קובע תיקו. Artificial Analysis מחשבת ציונים ל-30 תכונות אישיות בודדות, שמזינות שמונה מדדים ברמה גבוהה יותר. כל ההשוואות משתמשות בגרסאות המודל המקסימליות שמפורטות על ידי Artificial Analysis ובגרסאות מודל עם מאמץ חשיבה מקסימלי.

בנפרד, Artificial Analysis מודדת 21 תכונות תקשורת שנספרות ישירות ולא מדורגות על ידי שופטי AI. אלה כוללות אורך תשובה ממוצע ומספר הכותרות והמקפים הארוכים לכל תשובה. ערכי המדד מ-1 עד 100 משקפים את המיקום היחסי של כל מודל מבין כל המודלים שנבדקו. ציוני האישיות מתארים הבדלים בסגנון תקשורת, לא באיכות התשובה הכוללת. מדד שקיפות נמוך יותר לא בהכרח אומר שמודל נותן תשובות שגויות לעתים קרובות יותר.

סיקור קודם: OpenAI מציגה את GPT-6.2 Astra ו-GPT-6.2 Sol

מקורות: The Decoder

SiTech

SiTech — פיתוח אתרים בכוח ה-AI

אנחנו בונים אתרים מהירים ומודרניים ומשלבים AI בתהליכי עבודה אמיתיים. יש לכם פרויקט או שאלה? נשמח לעזור.