AI-тексту детектори не помічають ШІ, коли він імітує стиль автора — дослідження
Дослідження Epoch AI показало, що Pangram, GPTZero та Originality.ai у 13% випадків не виявляють AI-генерований текст, якщо він імітує стиль автора — у наукових текстах цей показник сягає 24-29%.
Дослідження Epoch AI: як тестували детектори
Дослідницька група Epoch AI провела масштабне тестування трьох популярних AI-детекторів тексту: Pangram (версія 3.3.2), GPTZero (модель 2026-05-11-base) та Originality.ai (Turbo 3.0.2). Метою дослідження було з'ясувати, наскільки ефективно ці інструменти працюють, коли штучний інтелект навмисно імітує стиль конкретного автора.
Дослідники створили корпус із 495 текстів, написаних людьми, від 99 авторів, рівномірно розподілених за трьома категоріями: блогінг, художня література та наукове письмо. Усі тексти були написані до виходу ChatGPT (листопад 2022 року), що практично виключає ризик забруднення мовними моделями. Це важлива деталь, оскільки багато попередніх досліджень не контролювали цей фактор — якщо контрольні тексти могли бути написані самим ШІ, результати ставали ненадійними.
Структура тестування була двоетапною. На першому етапі перевіряли, наскільки добре детектори виявляють звичайний AI-генерований текст — створений за простим запитом, без імітації стилю. На другому етапі три провідні AI-моделі — Claude Opus 4.8, GPT-5.5 та Gemini 3.1 Pro — отримали п'ять реальних текстів автора і мали створити новий текст у тому ж стилі.
Майже ідеальні результати на простому AI-тексті
Коли детекторам подали звичайний AI-генерований текст (без імітації стилю), усі три показали майже бездоганний результат. Показник хибно-негативних спрацьовувань становив максимум 0,7% — тобто детектори майже завжди правильно розпізнавали AI-текст.
Тексти, написані людьми, також здебільшого класифікувалися правильно. Pangram та GPTZero не подали жодного хибного сигналу — вони правильно визначили всі тексти як написані людиною. Це означає, що якщо вчитель або видавець використовує ці інструменти, вони майже ніколи не звинувачують невинного автора у використанні ШІ.
Однак Originality.ai показав тривожний результат: він позначив 19 із 495 людських текстів як AI-генеровані, що становить показник хибно-позитивних спрацьовувань у 3,8%. Це означає, що приблизно один із кожних 26 текстів, написаних людиною, може бути помилково визнаний як створений ШІ — неприйнятно високий показник у ситуаціях, де таке звинувачення має серйозні наслідки.
Імітація стилю різко знижує ефективність детекторів
Ситуація кардинально змінюється, коли AI-моделі отримують зразки текстів автора та прохання імітувати його стиль. За даними Epoch AI, із 297 згенерованих таким чином текстів у середньому 38 залишалися непоміченими — це 13% хибно-негативних спрацьовувань.
Відмінності між детекторами все ж були помітними. Pangram не виявив 10% текстів, створених з імітацією стилю, GPTZero — 11%, а Originality.ai — 18%. Це означає, що Originality.ai майже кожен п'ятий AI-текст не помічає, якщо він імітує стиль автора.
Цікаво, що в категорії художньої літератури результати були відносно хорошими — показник хибно-негативних спрацьовувань становив лише 1-5%. Втім, саме художня література є тією категорією, де стиль ідентифікувати найлегше — унікальний голос автора більш виражений, ніж у науковому письмі.
Академічні тексти — найслабше місце
Наукове письмо стало тією категорією, де всі детектори показали найгірші результати. Pangram не виявив 25% академічних AI-текстів, створених з імітацією стилю, GPTZero — 24%, а Originality.ai — 29%. Це свідчить про те, що саме в тій сфері, де AI-детектори використовують найчастіше — в освіті та академічних колах — вони найменш надійні.
Найдраматичніші результати виявилися в конкретних комбінаціях моделі та жанру. Pangram не виявив 48% академічних текстів, згенерованих Gemini — майже кожен другий текст. Originality.ai не виявив 39% академічних текстів GPT-5.5. Ці дані особливо тривожні на тлі того, що студенти та дослідники все частіше звертаються до ШІ для написання наукових текстів.
Проблема в тому, що наукове письмо стилістично більш однорідне — воно використовує формальну мову, стандартну структуру та певну термінологію. Тому ШІ легше імітувати науковий стиль, ніж, скажімо, унікальний голос видатного блогера.
Різні підходи, однакові сліпі зони
Кожен із трьох тестованих детекторів використовує різну методологію, але всі демонструють однакову вразливість до імітації стилю. Pangram покладається на нейронну мережу, навчену на людських та машинних текстах — хоча його засновник відверто назвав систему "чорним ящиком", оскільки її рішення неможливо відстежити.
GPTZero вимірює, наскільки передбачуваним є вибір слів у тексті та як змінюється цей показник протягом тексту. Його логіка проста: мовні моделі пишуть більш рівномірно, ніж люди. Originality.ai шукає статистичні патерни, які він вивчив на навчальних даних із людських та AI-текстів.
Незважаючи на різні підходи, усі три детектори демонструють одну й ту саму вразливість. Вони майже завжди виявляють текст, створений за простим запитом, але часто пропускають тексти, створені з імітацією стилю. І саме той жанр, де AI-детекція має найбільше практичне застосування — наукове письмо — залишається найскладнішим викликом.
Попередні дослідження та чому робота Epoch AI важлива
Раніше Authors Guild провів тест, який показав, що Pangram та Originality.ai надійно розпізнають людські тексти як написані людиною. Дослідження Epoch AI заповнює другу половину картини: низький показник хибних тривог на людських текстах мало що говорить про те, скільки AI-генерованих текстів насправді залишаються непоміченими.
Це особливо важливо для сфер, де AI-детектори використовують найінтенсивніше — в університетах, видавництвах, журналістиці. Якщо детектор повідомляє, що текст "написаний людиною", це не означає, що він дійсно є людською роботою — можливо, ШІ просто добре імітував стиль.
Дослідження порушує глибокі етичні та практичні питання щодо регулювання використання ШІ в академічному та професійному письмі. 13% середній показник невиявлення означає, що приблизно кожен 7-8 AI-текст залишається непоміченим. А в наукових текстах — кожен четвертий. Ці дані ставлять під сумнів надійність детекції як основного механізму контролю.
Що це означає для майбутнього
Дослідження Epoch AI є важливим попередженням: AI-детектори тексту не настільки надійні, як ми думали раніше. Їхня ефективність різко падає, коли AI-моделі навмисно намагаються імітувати стиль. Це особливо проблематично в освіті, де ці інструменти широко використовуються для перевірки студентських робіт.
Імітація стилю — доступна техніка, яка не потребує особливої складності: достатньо надати моделі кілька текстів автора, і вона вже зможе імітувати його стиль. Це означає, що в майбутньому виявлення використання ШІ стане ще складнішим, оскільки моделі зможуть більш досконало імітувати людський стиль.
Потрібні нові підходи до детекції AI-тексту — можливо, суто статистичного аналізу вже недостатньо. Майбутнє може належати гібридним методам, які поєднують текстовий аналіз, перевірку метаданих та дослідження історії написання. А доти результати AI-детекторів слід сприймати з обережністю — особливо коли йдеться про наукові та академічні тексти.