Süni intellekt chatbotları rentgen şəkillərini oxuyur — səhv edərkən belə təhlükəli dərəcədə özünə güvənən

RadLE 2.0 — radiologiyanın süni intellekt üçün son imtahanı

2026-cı il iyul ayında CRASH Laboratoriyası (Aşoka Universiteti, Hindistan) RadLE 2.0-ı nəşr etdi — Radiologiyanın Son İmtahanının ikinci versiyasıı. Bu benchmark, süni intellektin diaqnozu nə zaman insan mütəxəssisə həvalə etməli olduğunu anlayıb-anlamadığını yoxlayır. Məsələ təkcə dəqiqlik deyil, modelin öz məhdudiyyətlərini dərk edib-etməməsidir — tibbdə həlledici əhəmiyyət kəsb edən bir məsələ.

Test 200 klinik hal üzərində 16 fərqli süni intellekt modeli ilə aparıldı və nəticələr bir qrup radioloqla müqayisə edildi. Maksimum bal 2000-dir. İnsan ekspertlər 988.7 bal topladı, ən yaxşı süni intellekt modeli isə 758 bal. Bu o deməkdir ki, ən yaxşı süni intellekt nümayəndəsi belə insan nəticəsinin 75%-nə belə çatmır.

Bu nəticə aydın göstərir ki, bütün irəliləyişlərə baxmayaraq, süni intellekt müstəqil radioloji diaqnostikadan hələ çox uzaqdır. Daha pisi, modellər çox vaxt səhv etdiklərini dərk etmirlər. RadLE 2.0-ın ilk versiyası 2025-ci il sentyabrında buraxılmışdı və daha kəskin mənzərə çəkirdi: radioloqların dəqiqliyi 83% idi, ən yaxşı süni intellekt isə cəmi 30% göstərmişdi. Cəmi üç ay ərzində Gemini 3 Pro rezident radioloqların səviyyəsini keçdi — dəqiqlik sürətlə artır, lakin modellərdə hələ də öz məhdudiyyətlərini hiss etmək qabiliyyəti yoxdur.

Bal sistemi necə işləyir — dürüstlük özünə güvənən səhvdən daha yaxşıdır

RadLE 2.0-ın bal sistemivi ənənəvi benchmarklardan köklü şəkildə fərqlənir. O, dürüstlüyü mükafatlandırır və həddən artıq özünə güvəni cəzalandırır. Model öz cavabını 0-dan 4-ə qədər etibar şkalasında qiymətləndirməlidir. Əgər model yüksək etibarla düzgün cavab verərsə — tam bal alır. Yüksək etibarla səhv edərsə — bal itirir. "Bilmirəm" cavabı 0 bal verir, lakin heç bir cərimə gəlmir. Bu o deməkdir ki, model üçün ən təhlükəsiz strategiya qeyri-müəyyənlik halında susmaqdır.

Bu yanaşma tibbdə xüsusilə vacibdir. Sitat gətirilən tədqiqatlardan birində deyildiyi kimi: benchmarklar yalnız dəqiqliyi qiymətləndirdiyi müddətcə, süni intellekt modelləri təxmin etməyi öyrənir. Tibbdə isə özünə güvənən yanlış diaqnoz, dürüst "bilmirəm" etirafından qat-qat təhlükəlidir. Tədqiqatın müəllifləri vurğulayırlar ki, texnologiya şirkətlərinin rəhbərləri və investorları süni intellektin imkanlarını şişirdir, bu da xəstələri yanlış yönləndirir.

Tez-tez yüksək etibarla təxmin edən model, xam dəqiqliyi məqbul olsa belə, reytinqdə düşür. Məhz bu, bəzi modelləri xəstələr üçün təhlükəli edir — model statistik olaraq yaxşı görünə bilər, lakin onun səhvləri xəstənin tanıya bilmədiyi yüksək etibarla rənglənmişdir.

Ən yaxşı kim oldu — Claude Fable 5, Gemini 3 Pro yoxsa Muse Spark 1.1?

Heç bir model bütün kateqoriyalarda qalib gəlmədi. Anthropic-in Claude Fable 5-i etibarlı və təhlükəsiz cavablarda ən yaxşısı oldu, əsas metrikdə liderlik etdi. Google-ın Gemini 3 Pro-su ən yüksək xam dəqiqliyi göstərdi — ön sıradakı modellər arasında o, demək olar ki, insan nəticələrinə çatır.

Meta-nın Muse Spark 1.1-i bir hadisəni nə zaman insan radioloqa ötürmək lazım olduğunu ən yaxşı müəyyən etməsi ilə seçildi. Meta bu modelin halüsasiya nisbətini demək olar ki, yarıya endirdi — o, indi səhv cavab verməkdənsə, cavab verməkdən daha tez-tez imtina edir.

Digər modollar əks istiqamətdə inkişaf edir. Məsələn, Grok 4.5 sələfindən əhəmiyyətli dərəcədə daha çox halüsasiya istehsal edir. Səbəbi sadədir: o, daha çox şey bilir, lakin səhvlərinə daha çox inanır.

Açıq modellərin problemi — hər şeyi təxmin etməyə çalışmaq

Tədqiqat açıq çəkili modellər və tibb üçün xüsusi təlim keçmiş modellər arasında xüsusilə narahatedici bir tendensiya aşkar etdi. Onlar demək olar ki, hər bir hadisəyə, çox vaxt yüksək etibarla cavab verməyə çalışır və əksər hallarda səhv edirlər.

"Bir neçə model təxmin etmək əvəzinə daha tez-tez sussaydı, daha yaxşı bal alardı," — deyə tədqiqatçılar qeyd edirlər. Bu, xəstələrin artıq bu gün rentgen və MRT şəkillərini chatbotlara yükləyib onların cavablarına etibar etdiyi bir kontekstdə xüsusilə təhlükəlidir.

Xəstələr artıq süni intellektə güvənir — və bu təhlükəlidir

Getdikcə daha çox insan tibbi məsləhət üçün süni intellekt chatbotlarından istifadə edir. npj Digital Medicine-də dərc olunan tədqiqat göstərdi ki, geniş yayılmış chatbotlar tibbi suallara tez-tez etibarsız cavablar verir.

Tədqiqat qrupu texnologiya şirkətlərinin rəhbərlərini və investorlarını süni intellektin imkanlarını şişirtdikləri üçün tənqid edir. Süni intellektin artıq həkimlərin 99%-dən daha yaxşı diaqnoz qoyduğu iddiaları əsasən anekdotlara və ya simulyasiyalara əsaslanır.

2025-ci il Polşa tədqiqatı başqa bir problemi üzə çıxardı — "Google Maps effekti". Kolonoskopiya zamanı mütəmadi olaraq süni intellektdən istifadə edən həkimlər, alət olmadan işləyərkən əhəmiyyətli dərəcədə daha az xərçəngöncəsi formasiyalar aşkar edir — aşkarlanma nisbəti 28.4%-dən 22.4%-ə düşür. Naviqasiya olmadan itirlər.

Radiologiyada süni intellekt haypi dövrü — 2016-dan 2026-ya qədər

Radiologiya artıq süni intellekt haypinin tam dövrünü keçib. 2016-cı ildə süni intellekt pioneri Ceffri Hinton radioloqların təliminin dayandırılmalı olduğunu çünki dərin öyrənmənin tezliklə onların işini əlindən alacağını bəyan etdi. Riçard Satton və digər tanınmış səslər razılaşdı. Təxminən on il sonra radioloqlar hələ də həddindən artıq yüklüdür və Hinton proqnozunu geri götürməli oldu.

O, peşəni yalnız görüntü təhlilinə endirdi və sahənin bütün mürəkkəbliyini nəzərə almadı. OpenAI-in CEO-su Sem Altman da illər boyu süni intellektin iş yerlərini dəhşətli sürətlə əvəz edəcəyini proqnozlaşdırdı, lakin bu yaxınlarda özü fikrini dəyişdi.

Nəticə — süni intellekt əvvəlcə susmağı öyrənməlidir

RadLE 2.0 müəllifləri aydın bəyan edirlər: süni intellekt tibbdə müstəqil qərarlar qəbul etməzdən əvvəl, bunu etməməyin nə zaman daha yaxşı olduğunu bilməlidir. Son ayların tədqiqatları — MIRA (elektron tibbi qeydlər sistemi) və AMIE — göstərir ki, süni intellekt simulyasiya edilmiş konsultasiyalarda həkimlərlə rəqabət apara bilər, lakin real dünya daha mürəkkəbdir.

Süni intellekt mütəxəssisləri modellərini yaxşı tanıya bilər, lakin onlar bütöv peşələrin nə qədər tez əvəz oluna biləcəyini sistematik olaraq həddən artıq qiymətləndirirlər. Qurduqları süni intellekt kimi, insanlar da öz səlahiyyət hüdudlarından kənara çıxdıqda nə zaman susmağın daha yaxşı olduğunu həmişə bilmirlər.

RadLE 2.0 yeni modelləri daxil etmək üçün davamlı olaraq genişləndiriləcək. Xərc təhlili və səhv təsnifatı ilə tam elmi nəşr yaxın gələcəkdə dərc olunacaq.

📖 Mənbə