Նոր հետազոտություն. AI-ի գրած բովանդակությունը ճանաչվում է կառուցվածքով, ոչ բառերով

arXiv-ում հրապարակված նոր աշխատանքը քննում է՝ հնարավո՞ր է AI-ի գրած առևտրային վեբ-բովանդակությունը ճանաչել ոչ թե բառերով, այլ կառուցվածքով։ Sitefire-ի հետազոտող Յոխեն Մադլերի «SlopShape» հոդվածը հայտնում է, որ 214 հատկանիշից կազմված գործիքը, որոնցից 187-ը կառուցվածքային են, AI-ի գրած ընկերությունների բլոգ-գրառումները մարդու գրածից տարբերում է 98.0 macro-F1-ով։

Ինչ է չափվել

Հետազոտությունը StoryScope-ը՝ AI-ի գեղարվեստական արձակի վերաբերյալ նախկին աշխատանքը, տեղափոխում է առևտրային բովանդակություն։ Կորպուսը 268 ընկերության դոմենից 2,250 մարդու գրառում (ChatGPT-ից առաջ արված Wayback պատճեններ, 2008–2022) զուգակցում է 11,250 AI «հայելու» հետ. նույն բրիֆերը ստացել են հինգ մոդելներ՝ GPT-5.4, Claude Sonnet 4.6, Gemini 3 Flash, DeepSeek V3.2 և Kimi K2.5։

Ամեն գրառում գնահատվել է 11 չափումից բաղկացած սխեմայով, որը կիրառել է LLM-ը. մարդկային նշագրման սեսիան ցույց է տվել 0.928 համաձայնություն նշագրողների միջև և 0.946՝ մարդու ու մոդելի միջև։

Կառուցվածքը հաղթում է ոճին և դիմանում վերաշարադրմանը

Միայն կառուցվածքային հատկանիշները ուսուցման մեջ չտեսնված ընկերություններում հասել են 98.0 macro-F1-ի, միայն ոճայինները՝ 88.1-ի։ Բառային դետեկտորները անթերի էին չխմբագրված AI տեքստի վրա, բայց վերաշարադրումից հետո այդ առավելությունը չի պահպանվում. երբ թեստային հավաքածուի բոլոր AI գրառումները վերաշարադրել է դրանց ստեղծող մոդելը, կառուցվածքային մոդելը մնացել է 98.1-ի վրա և գրառումների 79.3 տոկոսը վերագրել ճիշտ աղբյուրին (պատահականությունը՝ 16.7 տոկոս)։

Կոկիկ, ինքնահայտարար գրառումը

Ազդանշանի մեծ մասը կրում են տասը հատկանիշներ. խոստումը տրվում է վերնագրում, թեզն ու կառուցվածքը հայտարարվում են առաջին բաժնից առաջ, ձայնը խմբագրական բացատրողի ձայն է, իսկ ավարտը կրկնում է թեզը։ Մարդու գրառումները հակված են հակառակին՝ առանց հայտարարված ընթացքի, ռիսկի աճի և ամփոփող ավարտի. միայն այդ տասը հատկանիշներով դասակարգիչը դեռ հասնում է 93.5 macro-F1-ի։

Մարդու գրառումները զբաղեցնում են կառուցվածքային տարածության ավելի հազվադեպ շրջաններ. հազվադեպության միջին պերցենտիլը 0.838 է՝ AI գրառումների 0.435-ի դիմաց, իսկ ամենահազվադեպ մեկ տոկոսում 149-ը մարդու են, 4-ը՝ AI-ի։

Բաց կոդ և սահմանափակումներ

Փայփլայնը, գործիքը, հուշումները և կոդը հրապարակվել են GitHub-ում։ Հոդվածը նշում է սահմանափակումները. կորպուսը հիմնականում ծրագրային և ամերիկյան ընկերություններից է, AI հայելիները գրվել են ավելի քիչ համատեքստ կրող բրիֆերից, իսկ վերաշարադրման թեստը ընդգրկում է ինքնավերաշարադրումը, ոչ թե առևտրային «humanizer» գործիքները։ Հեղինակը հայտնում է, որ ղեկավարում է Sitefire GEO ապրանքը։