Дослідження: фронтирні LLM розходяться у 67% реальних фактчек-тверджень

Платформа перевірки фактів Lenz опублікувала дослідження про те, як часто провідні фронтирні мовні моделі розходяться в оцінці реальних фактів. Компанія дала п'яти топовим моделям — GPT-5.4, Claude Opus 4.7, Gemini 3 Pro, Gemini 3 Pro із пошуком і Sonar Pro від Perplexity — 1000 недавніх тверджень, поданих користувачами, і попросила кожну вибрати один із чотирьох вердиктів: правда, переважно правда, вводить в оману або неправда.

Дві третини тверджень розколюють панель

У 67% випадків (672 з 1000; 95-відсотковий довірчий інтервал 64-70) принаймні одна модель не погодилася з більшістю або більшість не сформувалася взагалі. Ще в 34% тверджень (343) між найбільш розбіжними моделями був розрив у два або більше щаблі — це суттєва розбіжність щодо відповіді, а не лише зсув упевненості.

Узгодженість між моделями виявилася помітною, але обмеженою: альфа Кріппендорфа для порядкової шкали становить 0.639. Панель сходиться на однозначних вердиктах і розпадається посередині шкали: серед 328 тверджень, де всі п'ять моделей погодилися, лише чотири були одностайними щодо «вводить в оману» і жодного — щодо «переважно правда».

Де моделі збігаються

Найближчою парою були Gemini 3 Pro та її версія з пошуком, які збігалися у 75% тверджень — що авторів не дивує, адже вони мають спільну базову модель. Найбільш розбіжними, з 53%, були Claude Opus 4.7 проти обох варіантів Gemini та Gemini 3 Pro проти Sonar Pro. Узгодженість з рештою панелі коливається від 69% до 81%.

Оскільки правильним може бути лише один вердикт із чотирьох, дослідження дає й нижню межу помилок. Якщо припустити, що найпопулярніший вердикт панелі правильний — найприхильніше трактування — то принаймні одна модель помилилася в 67% тверджень, щонайменше дві — у 45%, а щонайменше три — у 13%, де жоден вердикт не зібрав більшості.

Чого дослідження не стверджує

Lenz наголошує, що більшість моделей не є істиною: більшість іноді помиляється, а модель, яка не погодилася, іноді має рацію; компанія використовує більшість лише як структурну точку відліку. Власні вердикти Lenz в аналізі не використовувалися. З корпусу виключено приватні твердження, подання працівників, майже однакові записи та випадки, коли якась модель не змогла видати придатний для розбору вердикт.

Це заморожений знімок версії 1.0 із даними станом на 21 травня 2026 року, і CSV з кожним твердженням доступний публічно. Наступне дослідження позначить кожне твердження людською оцінкою і використає ці оцінки як еталон, щоб з'ясувати, де фронтирні панелі та сам Lenz розходяться з людським консенсусом.