Araşdırma: frontier LLM-lər real fakt yoxlamalarının 67 faizində bölünür

Fakt yoxlama platforması Lenz, aparıcı frontier dil modellərinin real dünya fakt yoxlamalarında nə qədər tez-tez fikir ayrılığına düşdüyünə dair araşdırma dərc edib. Şirkət istifadəçilərin təqdim etdiyi 1000 aktual iddianı beş aparıcı modelə — GPT-5.4, Claude Opus 4.7, Gemini 3 Pro, axtarışla Gemini 3 Pro və Perplexity-nin Sonar Pro-suna — verib və hər birindən dörd hökmdən birini seçməyi xahiş edib: doğru, əsasən doğru, çaşdırıcı və ya yalan.

İddiaların üçdə ikisində panel bölünür

İddiaların 67 faizində (1000-dən 672; 95 faizlik etibarlılıq intervalı 64-70) ən azı bir model çoxluq hökmü ilə razılaşmayıb, ya da ümumiyyətlə çoxluq yaranmayıb. İddiaların 34 faizində (343) ən çox fərqlənən cütlük arasında iki və ya daha çox pillə fərq olub — bu, inam səviyyəsindəki dəyişmə deyil, cavabın özünə dair əsaslı fikir ayrılığıdır.

Modellər arası uyğunluq əhəmiyyətli, lakin məhdud olub: sıralı şkalada Krippendorff alfası 0.639-dur. Panel birmənalı hökmlərdə birləşir, şkalanın ortasında isə parçalanır: beş modelin də razılaşdığı 328 iddiadan yalnız dördündə «çaşdırıcı» hökmü barədə həmfikirlik olub, «əsasən doğru» barədə isə heç birində.

Modellər harada üst-üstə düşür

Ən yaxın cütlük iddiaların 75 faizində razılaşan Gemini 3 Pro ilə onun axtarışla versiyası olub — müəlliflərə görə bu təəccüblü deyil, çünki onlar eyni baza modelini paylaşırlar. Ən uzaq cütlüklər 53 faizlə Claude Opus 4.7-nin hər iki Gemini versiyasına və Gemini 3 Pro-nun Sonar Pro-ya qarşı olduğu hallardır. Modellərin panelin qalan hissəsi ilə uyğunluğu 69-81 faiz arasında dəyişir.

Hər iddiada dörd hökmdən yalnız biri doğru ola biləcəyi üçün araşdırma səhv üçün aşağı hədd də verir. Panelin ən populyar hökmünün doğru olduğunu fərz etsək — ən mülayim yanaşma ilə — ən azı bir model iddiaların 67 faizində, ən azı iki model 45 faizində, ən azı üç model isə heç bir hökmün çoxluq toplamadığı 13 faizində səhv edib.

Araşdırmanın demədikləri

Lenz vurğulayır ki, modellərin çoxluğu mütləq həqiqət deyil: çoxluq bəzən səhv edir, fərqli fikirdə olan model isə bəzən haqlı olur; şirkət çoxluqdan yalnız struktur istinad nöqtəsi kimi istifadə edir. Lenz-in öz hökmləri təhlilə daxil edilməyib. Korpusdan şəxsi iddialar, əməkdaşların təqdimatları, demək olar eyni olan qeydlər və hər hansı modelin təhlil edilə bilən hökm verə bilmədiyi hallar çıxarılıb.

Araşdırma 1.0 versiyası ilə dondurulmuş görüntüdür, məlumatlar 21 may 2026-cı il tarixinə aiddir və hər iddia üzrə CSV ictimaiyyətə açıqdır. Növbəti araşdırma hər iddianı insan qiymətləndirməsi ilə işarələyəcək və bu qiymətləndirmələri etalon kimi istifadə edərək frontier panellərinin və Lenz-in insan konsensusundan harada yayındığını xəritələyəcək.