Yeni araşdırma: Süni intellekt mətnləri sözlərə görə deyil, struktura görə tanınır

arXiv-da dərc olunan yeni məqalə süni intellektin yazdığı kommersiya veb-məzmununun sözlərə görə deyil, struktura görə tanına biləcəyini araşdırır. Sitefire-dan Jochen Madler-in „SlopShape“ işi bildirir ki, 187-si struktur olmaqla 214 xüsusiyyətdən ibarət alət AI-nin yazdığı şirkət bloq yazılarını insan yazılarından 98.0 macro-F1 ilə ayırır.

Nə ölçülüb

Tədqiqat AI bədii mətnində struktur imzaları tapmış əvvəlki işi — StoryScope-u — kommersiya məzmununa köçürür. Korpus 268 şirkət domenindən 2.250 insan bloq yazısını (ChatGPT-dən əvvəl götürülmüş Wayback surətləri, 2008–2022) 11.250 AI „güzgüsü“ ilə tutuşdurur: eyni briflər beş qabaqcıl modelə verilib — GPT-5.4, Claude Sonnet 4.6, Gemini 3 Flash, DeepSeek V3.2 və Kimi K2.5.

Hər yazı məqsəd, struktur, sübut, səs və səhifə formatı kimi 11 ölçülü sxemə əsasən qiymətləndirildi. Aləti LLM tətbiq etdi; insan işarələmə sessiyasında işarələyicilər arasında uyğunluq 0.928, insanla model arasında isə 0.946 oldu.

Struktur üslubu üstələyir və yenidən yazılmaya davam gətirir

Yalnız struktur xüsusiyyətləri təlimdə görünməyən şirkətlərdə 98.0 macro-F1-ə çatdı; yalnız üslub xüsusiyyətləri isə 88.1-də qaldı. Söz səviyyəsindəki detektorlar redaktə olunmamış AI mətnində qüsursuz idi, lakin bu üstünlük yenidən yazılmadan sonra qalmır: test dəstindəki hər AI yazısı öz modeli tərəfindən yenidən yazıldıqda struktur model yenə 98.1 aldı və yazıların 79.3 faizini altı mənbədən düzgününə aid etdi — təsadüf nisbəti 16.7 faizdir.

Səliqəli, özünü elan edən yazı

Siqnalın çoxunu on xüsusiyyət daşıyır: vəd artıq başlıqda verilir, tezis və axış ilk bölmədən əvvəl elan olunur, səs redaksiya izahedicisinin səsidir, yekun isə tezisi təkrarlayır. İnsan yazıları əks tərəfə meyllidir — elan edilmiş axış, riskin artırılması və tezisi təkrarlayan yekun yoxdur; yalnız həmin on xüsusiyyətlə qurulan təsnifatçı belə 93.5 macro-F1-ə çatır.

İnsan yazıları struktur məkanında daha nadir bölgələrdə yerləşir: orta nadirlik persentili 0.838, AI yazılarında 0.435; ən nadir bir faizdə 149 yazı insan, yalnız 4-ü AI-dir.

Açıq kod və məhdudiyyətlər

Borucam, alət, promptlar və kod GitHub-da açıq paylaşılıb. Məqalə məhdudiyyətlərini də sadalayır: korpus proqram təminatı və ABŞ ağırlıqlıdır, AI güzgüləri daha az kontekst daşıyan briflərdən yazılıb və yenidən yazılma testi kommersiya „humanizer“ alətlərini deyil, modellərin özünü yenidən yazmasını əhatə edir. Müəllif həmçinin Sitefire adlı kommersiya GEO məhsulunu idarə etdiyini bildirir.