AI-контент у вебі розпізнають за структурою, а не за словами — дослідження

Нова стаття на arXiv досліджує, чи можна визначати AI-тексти в комерційному вебі за структурою, а не за словами. «SlopShape» Йохена Мадлера (Sitefire) повідомляє, що інструмент із 214 ознак, 187 з яких структурні, відрізняє згенеровані AI корпоративні блоги від людських із macro-F1 98,0.

Що саме вимірювали

Дослідження переносить StoryScope — попередню роботу про структурні підписи в AI-прозі — на комерційний контент. Корпус зіставляє 2 250 людських постів із 268 доменів компаній (знімки Wayback Machine до ChatGPT, 2008–2022) з 11 250 AI-дзеркалами: ті самі брифи отримали п’ять фронтирних моделей — GPT-5.4, Claude Sonnet 4.6, Gemini 3 Flash, DeepSeek V3.2 і Kimi K2.5.

Кожен пост оцінювали за схемою з 11 вимірів: мета, структура, докази, голос, формат сторінки. Інструмент застосовувала LLM, а сесія людської «золотої» анотації дала згоду 0,928 між анотаторами та 0,946 між людьми й моделлю.

Структура перемагає стиль і витримує перефразування

Лише структурні ознаки дали macro-F1 98,0 на компаніях, яких не було в навчанні, тоді як стильові — 88,1. Детектори рівня слів були бездоганними на нередагованому AI-тексті, але після переписування ця перевага зникає: коли кожен AI-пост переписала його ж модель, структурна модель усе одно отримала 98,1 і правильно визначила джерело для 79,3 % постів із шести — за випадкового рівня 16,7 %.

Охайний пост, що сам себе оголошує

Більшість сигналу несуть десять ознак: результат обіцяють уже в заголовку, тезу й структуру оголошують перед першим розділом, голос — редакційного пояснювача, а фінал повторює тезу. Людські пости тяжіють до протилежного — без оголошеного плану, без нагнітання ставок, без підсумкового повтору; класифікатор лише на цих десяти ознаках усе одно сягає macro-F1 93,5.

Людські пости також займають рідші ділянки структурного простору: середній перцентиль рідкісності — 0,838 проти 0,435 в AI-постів, а серед найрідших одного відсотка 149 людських і лише 4 AI.

Відкритий код і обмеження

Пайплайн, інструмент, промпти, код і агреговані артефакти опубліковано на GitHub. Дослідження називає й обмеження: корпус зміщений у бік софтверних і американських компаній, AI-дзеркала писалися за брифом із меншим контекстом, а тест на перефразування охоплює самопереписування моделями, а не комерційні «humanizer»-інструменти. Автор також зазначає, що керує комерційним GEO-продуктом Sitefire.