AI Mətn Detektorları Dil Modelləri Müəllifin Stilini Təqlid Etməkdə Çətinlik Çəkir — Araşdırma
Epoch AI araşdırması göstərir ki, Pangram, GPTZero və Originality.ai müəllifin yazı stilini təqlid edən AI tərəfindən yaradılmış mətnlərin 13%-ni qaçırır — elmi yazılarda isə bu nisbət 24-29%-ə qədər yüksəlir.
Epoch AI-nın Araşdırması: Test Necə İşlədi
Epoch AI-dakı tədqiqat qrupu üç məşhur AI mətn detektorunun genişmiqyaslı qiymətləndirilməsini apardı: Pangram (versiya 3.3.2), GPTZero (model 2026-05-11-base) və Originality.ai (Turbo 3.0.2). Məqsəd, süni intellekt qəsdən müəyyən bir müəllifin yazı stilini təqlid etdikdə bu alətlərin nə dərəcədə effektiv işlədiyini müəyyən etmək idi.
Tədqiqatçılar 99 müəllifdən 495 insan tərəfindən yazılmış mətn korpusu yaratdılar, bu da üç kateqoriyada bərabər bölünmüşdü: bloqçuluq, bədii ədəbiyyat və elmi yazı. Bütün mətnlər ChatGPT-nin buraxılışından (2022-ci ilin noyabrı) əvvəl yazılmışdı ki, bu da dil modelləri ilə çirklənmə riskini praktiki olaraq aradan qaldırır.
Test strukturu iki mərhələli idi. Birinci mərhələdə detektorların stil təqlidi olmadan sadə sorğu ilə yaradılmış adi AI mətnini nə dərəcədə yaxşı aşkarladığı yoxlanıldı. İkinci mərhələdə üç qabaqcıl AI modeli — Claude Opus 4.8, GPT-5.5 və Gemini 3.1 Pro — hər biri bir müəllifdən beş real mətn parçası aldı və eyni stildə yeni mətn yaratmaq tapşırıldı.
Sadə AI Mətnində Demək olar ki, Mükəmməl Nəticələr
Detektorlara stil təqlidi olmadan adi AI tərəfindən yaradılmış mətn verildikdə, hər üçü demək olar ki, qüsursuz nəticə göstərdi. Yalan-mənfi göstərici maksimum 0.7% təşkil etdi — yəni detektorlar demək olar ki, bütün AI mətnlərini düzgün tanıyırdı.
İnsan tərəfindən yazılmış mətnlər də əksər hallarda düzgün təsnif edildi. Pangram və GPTZero heç bir yalan həyəcan siqnalı vermədi — onlar bütün insan mətnlərini düzgün olaraq insan tərəfindən yazılmış kimi tanıdılar. Bu o deməkdir ki, müəllim və ya nəşriyyatçı bu alətlərdən istifadə edərsə, onlar demək olar ki, heç vaxt günahsız bir müəllifi AI istifadəsində ittiham etməyəcəklər.
Ancaq Originality.ai narahatedici bir nəticə göstərdi: o, 495 insan mətnindən 19-nu səhvən AI tərəfindən yaradılmış kimi qeyd etdi ki, bu da 3.8% yalan-müsbət göstərici təşkil edir. Bu o deməkdir ki, təxminən hər 26 insan tərəfindən yazılmış mətndən biri səhvən AI tərəfindən yaradılmış kimi etiketlənə bilər.
Stil Təqlidi Detektorların Effektivliyini Kəskin Azaldır
AI modelləri müəllifin mətn nümunələrini alıb onların stilini təqlid etməyi tapşırdıqda mənzərə kəskin şəkildə dəyişir. Epoch AI-nın məlumatlarına görə, bu şəkildə yaradılmış 297 mətndən orta hesabla 38-i nəzərə çarpmadı — bu 13%-lik yalan-mənfi göstəricidir.
Detektorlar arasında fərqlər yenə də nəzərə çarpırdı. Pangram stil təqlidi ilə yaradılmış mətnlərin 10%-ni, GPTZero 11%-ni, Originality.ai isə 18%-ni aşkarlaya bilmədi. Bu o deməkdir ki, Originality.ai demək olar ki, hər beşinci AI mətnini görmür, əgər o müəllifin stilini təqlid edirsə.
Maraqlıdır ki, bədii ədəbiyyat kateqoriyasında nəticələr nisbətən yaxşı idi — yalan-mənfi göstərici cəmi 1-5% təşkil etdi. Ancaq məhz bədii ədəbiyyat stil identifikasiyasının ən asan olduğu kateqoriyadır.
Akademik Mətnlər — Ən Zəif Nöqtə
Elmi yazı bütün detektorların ən pis nəticə göstərdiyi kateqoriya idi. Pangram stil təqlidi ilə yaradılmış akademik AI mətnlərinin 25%-ni, GPTZero 24%-ni, Originality.ai isə 29%-ni aşkarlaya bilmədi. Bu, məhz AI detektorlarının ən çox istifadə edildiyi sahədə — təhsil və akademik dairələrdə — onların ən az etibarlı olduğunu göstərir.
Ən dramatik nəticələr konkret model və janr kombinasiyalarında üzə çıxdı. Pangram Gemini tərəfindən yaradılmış akademik mətnlərin 48%-ni aşkarlaya bilmədi — demək olar ki, hər ikinci mətn. Originality.ai GPT-5.5-in akademik mətnlərinin 39%-ni aşkarlaya bilmədi. Bu məlumatlar xüsusilə tələbələrin və tədqiqatçıların getdikcə daha çox AI-ya müraciət etdiyi bir vaxtda narahatedicidir.
Problem ondadır ki, elmi yazı stilistik cəhətdən daha homogen olur — o formal dil, standart struktur və müəyyən terminologiyadan istifadə edir. Ona görə də AI-nin elmi stili təqlid etməsi daha asandır.
Fərqli Yanaşmalar, Eyni Kor Nöqtələr
Test edilmiş üç detektorun hər biri fərqli metodologiyadan istifadə edir, lakin hamısı stil təqlidinə qarşı eyni həssaslıq modelini nümayiş etdirir. Pangram insan və maşın tərəfindən yaradılmış mətnlər üzərində təlim keçmiş neyron şəbəkəyə əsaslanır — baxmayaraq ki, onun təsisçisi sistemi "qara qutu" adlandırıb, çünki onun qərarlarını izləmək mümkün deyil.
GPTZero mətndə söz seçiminin nə dərəcədə proqnozlaşdırıla bilən olduğunu və bu göstəricinin mətn boyunca necə dəyişdiyini ölçür. Onun məntiqi sadədir: dil modelləri insanlardan daha vahid yazır. Originality.ai insan və AI mətnlərindən ibarət təlim məlumatlarında öyrəndiyi statistik nümunələri axtarır.
Fərqli yanaşmalarına baxmayaraq, hər üç detektor eyni zəifliyi göstərir. Onlar sadə sorğu ilə yaradılmış mətni demək olar ki, həmişə aşkarlayır, lakin stil təqlidi ilə yaradılmış mətnləri tez-tez qaçırırlar. Və məhz AI aşkarlanmasının ən çox praktik tətbiqə malik olduğu janr — elmi yazı — ən çətin problem olaraq qalır.
Əvvəlki Araşdırmalar və Epoch AI-nın İşi Niyə Vacibdir
Authors Guild-in əvvəlki testi göstərdi ki, Pangram və Originality.ai insan mətnlərini etibarlı şəkildə insan tərəfindən yazılmış kimi tanıyır. Epoch AI-nın araşdırması mənzərənin ikinci yarısını tamamlayır: insan yazısında aşağı yalan-həyəcan göstəricisi, nə qədər AI tərəfindən yaradılmış mətnin əslində nəzərə çarpmadığı barədə az şey deyir.
Bu, xüsusilə AI detektorlarının ən intensiv istifadə edildiyi sahələr üçün vacibdir — universitetlər, nəşriyyatlar, jurnalistika. Əgər detektor mətnin "insan tərəfindən yazıldığını" bildirirsə, bu o demək deyil ki, o həqiqətən insan işidir — ola bilər ki, AI sadəcə stili yaxşı təqlid edib.
Araşdırma akademik və peşəkar yazıda AI istifadəsinin tənzimlənməsi ilə bağlı dərin etik və praktiki suallar qaldırır. 13% orta göstərici o deməkdir ki, hər 7-8 AI mətnindən biri nəzərə çarpmır. Elmi mətnlərdə isə hər dördüncü.
Bunun Gələcək Üçün Mənası
Epoch AI-nın araşdırması mühüm bir xəbərdarlıqdır: AI mətn detektorları əvvəllər düşündüyümüz qədər etibarlı deyil. Onların effektivliyi AI modelləri qəsdən stil təqlid etməyə çalışdıqda kəskin şəkildə azalır. Bu, xüsusilə təhsil sistemində problemlidir, burada bu alətlər tələbə işlərini yoxlamaq üçün geniş istifadə olunur.
Stil təqlidi asanlıqla əlçatan bir texnikadır — xüsusi mürəkkəblik tələb etmir: modelə müəllifin bir neçə mətnini təqdim etmək kifayətdir və o, artıq onun yazı stilini təqlid edə bilər. Bu o deməkdir ki, gələcəkdə AI istifadəsinin aşkarlanması daha da çətinləşəcək.
AI mətninin aşkarlanmasında yeni yanaşmalara ehtiyac var — ola bilsin ki, təkcə statistik analiz artıq kifayət deyil. Gələcək ola bilsin ki, mətn analizini, metadata yoxlanmasını və yazı tarixinin araşdırılmasını birləşdirən hibrid metodlara məxsus olsun. O vaxta qədər AI mətn detektorlarının nəticələri ehtiyatla qəbul edilməlidir.