AI ტექსტის დეტექტორები ვერ ამჩნევენ AI-ს, როცა ის ავტორის სტილს ბაძავს

Epoch AI-ს კვლევა: როგორ შეამოწმეს დეტექტორები

Epoch AI-ს მკვლევართა ჯგუფმა ჩაატარა ფართომასშტაბიანი ტესტირება სამი პოპულარული AI ტექსტის დეტექტორის: Pangram (ვერსია 3.3.2), GPTZero (მოდელი 2026-05-11-base) და Originality.ai (Turbo 3.0.2). კვლევის მიზანი იყო იმის გარკვევა, თუ რამდენად ეფექტურად მუშაობს ეს ინსტრუმენტები, როდესაც ხელოვნური ინტელექტი განზრახ ბაძავს კონკრეტული ავტორის წერის სტილს.

მკვლევარებმა შექმნეს 495 ადამიანის მიერ დაწერილი ტექსტის კორპუსი 99 ავტორისგან, რომელიც თანაბრად ნაწილდებოდა სამ კატეგორიაში: ბლოგინგი, მხატვრული ლიტერატურა და სამეცნიერო წერა. ყველა ტექსტი დაწერილი იყო ChatGPT-ის გამოშვებამდე (2022 წლის ნოემბერი), რაც პრაქტიკულად გამორიცხავს ენობრივი მოდელებით დაბინძურების რისკს. ეს მნიშვნელოვანი დეტალია, რადგან ბევრი ადრინდელი კვლევა ვერ აკონტროლებდა ამ ფაქტორს — თუ საკონტროლო ტექსტები შეიძლებოდა თავად AI-ს მიერ ყოფილიყო დაწერილი, შედეგები არასანდო ხდებოდა.

ტესტირების სტრუქტურა ორსაფეხურიანი იყო. პირველ ეტაპზე შემოწმდა, რამდენად კარგად ამჩნევენ დეტექტორები ჩვეულებრივ AI-გენერირებულ ტექსტს — მარტივი მოთხოვნით შექმნილს, სტილის მიბაძვის გარეშე. მეორე ეტაპზე კი სამმა წამყვანმა AI მოდელმა — Claude Opus 4.8, GPT-5.5 და Gemini 3.1 Pro — მიიღო ავტორის ხუთი რეალური ტექსტი და მათ უნდა შეექმნათ ახალი ტექსტი იმავე სტილში.

📖 წყარო

თითქმის სრულყოფილი შედეგები მარტივ AI ტექსტზე

როდესაც დეტექტორებს მიეწოდათ ჩვეულებრივი AI-გენერირებული ტექსტი (სტილის მიბაძვის გარეშე), სამივემ აჩვენა თითქმის უნაკლო შედეგი. ცრუ-უარყოფითი მაჩვენებელი (false-negative rate) მაქსიმუმ 0.7%-ს შეადგენდა — ანუ დეტექტორები თითქმის ყველა AI-ტექსტს სწორად ამოიცნობდნენ.

ადამიანის მიერ დაწერილი ტექსტების შემთხვევაშიც შედეგები შთამბეჭდავი იყო უმეტესწილად. Pangram-მა და GPTZero-მა არც ერთი ცრუ განგაში არ ატეხეს — მათ ყველა ადამიანის ტექსტი სწორად მიიჩნიეს ადამიანის მიერ დაწერილად. ეს ნიშნავს, რომ თუ მასწავლებელი ან გამომცემელი იყენებს ამ ინსტრუმენტებს, ისინი თითქმის არასდროს დაადანაშაულებენ უდანაშაულო ავტორს AI-ს გამოყენებაში.

თუმცა Originality.ai-მ აჩვენა გარკვეულწილად საგანგაშო შედეგი — მან 495 ადამიანის ტექსტიდან 19 არასწორად მიიჩნია AI-გენერირებულად, რაც 3.8%-იან ცრუ-დადებით მაჩვენებელს შეადგენს. ეს ნიშნავს, რომ ყოველი 26 ადამიანის ნამუშევრიდან ერთი შეიძლება შეცდომით იქნას მიჩნეული AI-ს მიერ დაწერილად — მიუღებლად მაღალი მაჩვენებელი იმ სიტუაციებში, სადაც ბრალდებას სერიოზული შედეგები აქვს.

📖 წყარო

სტილის მიბაძვა მკვეთრად ამცირებს დეტექტორების ეფექტურობას

სურათი მკვეთრად იცვლება, როცა AI მოდელები იღებენ ავტორის ნამუშევრების ნიმუშებს და სთხოვენ მათი სტილის მიბაძვას. Epoch AI-ს მონაცემებით, 297 ამგვარად გენერირებული ტექსტიდან საშუალოდ 38 რჩებოდა შეუმჩნეველი — ეს 13%-იანი ცრუ-უარყოფითი მაჩვენებელია.

დეტექტორებს შორის განსხვავებები მაინც შესამჩნევი იყო. Pangram-მა ვერ აღმოაჩინა სტილის მიბაძვით შექმნილი ტექსტების 10%, GPTZero-მ — 11%, ხოლო Originality.ai-მ — 18%. ეს ნიშნავს, რომ Originality.ai თითქმის ყოველი მეხუთე AI-ტექსტს ვერ ამჩნევს, თუ ის ავტორის სტილს ბაძავს.

საინტერესოა, რომ მხატვრული ლიტერატურის კატეგორიაში შედეგები შედარებით კარგი იყო — ცრუ-უარყოფითი მაჩვენებელი მხოლოდ 1-5%-ს შეადგენდა. თუმცა სწორედ მხატვრული ლიტერატურაა ის კატეგორია, სადაც სტილის იდენტიფიცირება ყველაზე ადვილია — ავტორის უნიკალური ხმა უფრო გამოკვეთილია, ვიდრე სამეცნიერო წერაში.

📖 წყარო

აკადემიური ტექსტები — ყველაზე სუსტი წერტილი

სამეცნიერო წერა იყო ის კატეგორია, სადაც ყველა დეტექტორმა ყველაზე ცუდი შედეგი აჩვენა. Pangram-მა ვერ აღმოაჩინა სტილის მიბაძვით შექმნილი აკადემიური AI ტექსტების 25%, GPTZero-მ — 24%, ხოლო Originality.ai-მ — 29%. ეს იმაზე მეტყველებს, რომ სწორედ იმ სფეროში, სადაც AI-ს დეტექტორებს ყველაზე მეტად იყენებენ — განათლებასა და აკადემიურ წრეებში — ისინი ყველაზე ნაკლებად სანდოა.

ყველაზე დრამატული შედეგები გამოვლინდა კონკრეტული მოდელისა და ჟანრის კომბინაციებში. Pangram-მა ვერ აღმოაჩინა Gemini-ს მიერ გენერირებული აკადემიური ტექსტების 48% — თითქმის ყოველი მეორე ტექსტი. Originality.ai-მ ვერ აღმოაჩინა GPT-5.5-ის აკადემიური ტექსტების 39%. ეს მონაცემები განსაკუთრებით საგანგაშოა იმ ფონზე, რომ სტუდენტები და მკვლევარები სულ უფრო ხშირად მიმართავენ AI-ს სამეცნიერო ტექსტების დასაწერად.

პრობლემა ის არის, რომ სამეცნიერო წერა სტილისტურად უფრო ერთგვაროვანია — იყენებს ფორმალურ ენას, სტანდარტულ სტრუქტურას და გარკვეულ ტერმინოლოგიას. ამიტომ AI-სთვის უფრო ადვილია მეცნიერული სტილის მიბაძვა, ვიდრე, ვთქვათ, გამორჩეული ბლოგერის უნიკალური ხმის.

📖 წყარო

სხვადასხვა მიდგომა, ერთი და იგივე ბრმა წერტილები

სამივე ტესტირებული დეტექტორი სხვადასხვა მეთოდოლოგიას იყენებს. Pangram ეყრდნობა ნერვულ ქსელს, რომელიც გაწვრთნილია ადამიანისა და მანქანის მიერ გენერირებულ ტექსტებზე — თუმცა მისმა დამფუძნებელმა თავად უწოდა ამ სისტემას "შავი ყუთი", ვინაიდან მისი გადაწყვეტილებების მიკვლევა შეუძლებელია.

GPTZero ზომავს, თუ რამდენად პროგნოზირებადია ტექსტში სიტყვების არჩევანი და რამდენად იცვლება ეს მაჩვენებელი ტექსტის განმავლობაში. მისი ლოგიკა მარტივია: ენობრივი მოდელები უფრო ერთგვაროვნად წერენ, ვიდრე ადამიანები. Originality.ai ეძებს სტატისტიკურ ნიმუშებს, რომლებიც მან ადამიანისა და AI ტექსტებისგან შემდგარ სასწავლო მონაცემებში შეისწავლა.

მიუხედავად ამ განსხვავებული მიდგომებისა, სამივე დეტექტორი ერთსა და იმავე შაბლონს ავლენს: ისინი თითქმის ყოველთვის ამჩნევენ მარტივი მოთხოვნით შექმნილ AI ტექსტს, მაგრამ ხშირად ვერ ამჩნევენ სტილის მიბაძვით შექმნილ ტექსტებს. და სწორედ ის ჟანრი, სადაც AI-ს დეტექციას ყველაზე მეტი პრაქტიკული გამოყენება აქვს — სამეცნიერო წერა — რჩება ყველაზე რთულ გამოწვევად.

📖 წყარო

წინა კვლევები და რატომ არის Epoch AI-ს ნამუშევარი მნიშვნელოვანი

Autor's Guild-ის ადრინდელმა ტესტმა აჩვენა, რომ Pangram და Originality.ai საიმედოდ ამოიცნობენ ადამიანის ტექსტებს, როგორც ადამიანის მიერ დაწერილს. Epoch AI-ს კვლევა ავსებს სურათის მეორე ნახევარს: დაბალი ცრუ-დადებითი მაჩვენებელი (ანუ ის, რომ დეტექტორი იშვიათად ადანაშაულებს ადამიანს AI-ს გამოყენებაში) ცოტას ამბობს იმაზე, თუ რამდენი AI-გენერირებული ტექსტი გადის რეალურად შეუმჩნეველი.

ეს განსაკუთრებით მნიშვნელოვანია იმ სფეროებში, სადაც AI-ს დეტექტორებს ყველაზე ინტენსიურად იყენებენ — უნივერსიტეტებში, გამომცემლობებში, ჟურნალისტიკაში. თუ დეტექტორი აცხადებს, რომ ტექსტი "ადამიანის მიერაა დაწერილი", ეს არ ნიშნავს, რომ ის ნამდვილად ადამიანის ნამუშევარია — შესაძლოა, AI-მ უბრალოდ კარგად მიბაძა სტილს.

კვლევა ცხადყოფს, რომ AI ტექსტის დეტექტორებზე დაყრდნობა, განსაკუთრებით სამეცნიერო და საგანმანათლებლო კონტექსტში, სარისკოა. 13% საშუალო ჩავარდნა იმას ნიშნავს, რომ ყოველი 7-8 AI-ტექსტიდან ერთი შეუმჩნეველი რჩება. ხოლო სამეცნიერო ტექსტებში — ყოველი მეოთხე. ეს მონაცემები აჩენს ეთიკურ და პრაქტიკულ კითხვებს იმის შესახებ, თუ როგორ უნდა მოხდეს AI-ს გამოყენების რეგულირება აკადემიურ და პროფესიულ წერაში.

📖 წყარო

რას ნიშნავს ეს მომავლისთვის

Epoch AI-ს კვლევა მნიშვნელოვან გაფრთხილებას იძლევა: AI ტექსტის დეტექტორები არ არიან ისეთი საიმედო, როგორც ადრე გვეგონა. მათი ეფექტურობა მკვეთრად ეცემა, როცა AI მოდელები განზრახ ცდილობენ სტილის მიბაძვას. ეს განსაკუთრებით პრობლემატურია განათლების სისტემაში, სადაც ეს ინსტრუმენტები ფართოდ გამოიყენება სტუდენტების ნამუშევრების შესამოწმებლად.

სტილის მიბაძვა AI-სთვის ხელმისაწვდომი ტექნიკაა, რომელიც არ საჭიროებს განსაკუთრებულ დახვეწილობას — საკმარისია მოდელს მიაწოდო ავტორის რამდენიმე ტექსტი და ის უკვე შეძლებს მისი წერის სტილის მიბაძვას. ეს ნიშნავს, რომ მომავალში AI-ს გამოყენების აღმოჩენა კიდევ უფრო გართულდება, რადგან მოდელები უფრო დახვეწილად შეძლებენ ადამიანის სტილის მიბაძვას.

საჭიროა ახალი მიდგომები AI ტექსტის დეტექციაში — შესაძლოა, მხოლოდ სტატისტიკური ანალიზი აღარ იყოს საკმარისი. მომავალი შესაძლოა ეკუთვნოდეს ჰიბრიდულ მეთოდებს, რომლებიც აერთიანებს ტექსტის ანალიზს, მეტამონაცემების შემოწმებას და წერის ისტორიის კვლევას. მანამდე კი, AI ტექსტის დეტექტორების შედეგები სიფრთხილით უნდა იქნას მიღებული — განსაკუთრებით მაშინ, როცა საქმე ეხება სამეცნიერო და აკადემიურ ტექსტებს.

📖 წყარო