מחקר: מודלי LLM מובילים חלוקים ב-67% מבדיקות העובדות מהעולם האמיתי

פלטפורמת בדיקת העובדות Lenz פרסמה מחקר על תדירות המחלוקת בין מודלי השפה המובילים בנוגע לבדיקות עובדות מהעולם האמיתי. החברה הציגה ל-5 מודלים מובילים — GPT-5.4, Claude Opus 4.7, Gemini 3 Pro, Gemini 3 Pro עם חיפוש ו-Sonar Pro של Perplexity — 1,000 טענות עדכניות שהגישו משתמשים, וביקשה מכל אחד לבחור אחד מארבעה פסקים: נכון, בעיקר נכון, מטעה או שקרי.

בשני שלישים מהטענות הפאנל מתפצל

ב-67% מהטענות (672 מתוך 1,000; רווח סמך של 95%: 64-70) לפחות מודל אחד חלק על פסק הרוב, או שלא נוצר רוב כלל. ב-34% נוספים מהטענות (343) נמצא פער של שני דרגים או יותר בין הזוג החולק ביותר — מחלוקת מהותית על התשובה ולא רק שינוי ברמת הביטחון.

ההסכמה בין המודלים הייתה ממשית אך מוגבלת: אלפא של Krippendorff בסולם הסדיר עומד על 0.639. הפאנל מתכנס בפסקים חד-משמעיים ונשבר באמצע הסולם: מבין 328 הטענות שבהן הסכימו כל חמשת המודלים, רק ארבע היו פה-אחד על "מטעה" ואף לא אחת על "בעיקר נכון".

היכן המודלים מתיישרים

הזוג הקרוב ביותר היה Gemini 3 Pro וגרסתו עם החיפוש, שהסכימו ב-75% מהטענות — לא מפתיע, כותבים המחברים, כיוון שהם חולקים מודל בסיס. הזוגות הרחוקים ביותר, ב-53%, היו Claude Opus 4.7 מול שתי גרסאות Gemini ו-Gemini 3 Pro מול Sonar Pro. ההסכמה עם שאר הפאנל נעה בין 69% ל-81%.

מכיוון שרק פסק אחד יכול להיות נכון בכל טענה, המחקר מספק גם חסם תחתון לשגיאות. בהנחה שהפסק הפופולרי ביותר בפאנל הוא הנכון — הפרשנות המקלה ביותר — לפחות מודל אחד טעה ב-67% מהטענות, לפחות שניים ב-45%, ולפחות שלושה ב-13%, שבהן שום פסק לא הגיע לרוב.

מה המחקר אינו אומר

Lenz מדגישה שרוב של מודלים אינו אמת מוחלטת: הרוב טועה לעיתים והמודל החולק צודק לעיתים, והרוב משמש רק כנקודת ייחוס מבנית. פסקיה של Lenz עצמה לא נכללו בניתוח. מהקורפוס הוצאו טענות פרטיות, הגשות של עובדים, כפילויות כמעט זהות ומקרים שבהם מודל כלשהו לא הצליח להפיק פסק קריא.

מדובר בתמונת מצב קפואה בגרסה 1.0, עם נתונים ל-21 במאי 2026, וקובץ ה-CSV לכל טענה פתוח לציבור. מחקר המשך יסמן כל טענה בתיוג אנושי וישתמש בתיוגים אלה כאמת מידה כדי למפות היכן פאנלים של מודלים מובילים ו-Lenz עצמה סוטים מקונסנזוס אנושי.