Yeni araştırma: Yapay zekâ içeriği sözcüklerden değil yapıdan tanınıyor

Yeni bir arXiv makalesi, ticari web içeriğinin sözcüklerden değil yapıdan tanınıp tanınamayacağını soruyor. Sitefire'dan Jochen Madler'in „SlopShape“ çalışması, 187'si yapısal olan 214 özellikli bir aracın yapay zekâ üretimi şirket bloglarını insan yazımından 98,0 macro-F1 ile ayırdığını bildiriyor.

Ne ölçüldü

Çalışma, yapay zekâ kurgusunda yapısal imzalar bulan StoryScope'u ticari içeriğe taşıyor. Veri kümesi, 268 şirket alan adından 2.250 insan blog yazısını (ChatGPT öncesi Wayback kopyaları, 2008–2022) 11.250 yapay zekâ „aynasıyla“ eşleştiriyor: aynı briefler beş öncü modele verildi — GPT-5.4, Claude Sonnet 4.6, Gemini 3 Flash, DeepSeek V3.2 ve Kimi K2.5.

Her yazı; amaç, yapı, kanıt, ses ve sayfa biçimi gibi 11 boyutlu bir şemaya göre puanlandı. Aracı bir LLM uyguladı; insan etiketleme oturumunda etiketleyiciler arası uyum 0,928, insan ile model arası uyum ise 0,946 çıktı.

Yapı üslubu yeniyor ve yeniden yazmaya dayanıyor

Yalnızca yapısal özellikler, eğitimde hiç görülmeyen şirketlerde 98,0 macro-F1'e ulaştı; yalnızca üslup özellikleri 88,1'de kaldı. Sözcük düzeyindeki dedektörler düzenlenmemiş yapay zekâ metninde kusursuzdu, ancak bu avantaj yeniden yazmaya dayanmıyor: test kümesindeki her yazı kendi modeli tarafından yeniden yazıldığında yapısal model yine 98,1 aldı ve yazıların yüzde 79,3'ünü altı kaynaktan doğru olana atadı — şans düzeyi yüzde 16,7.

Düzenli, kendini duyuran yazı

Sinyalin çoğunu on özellik taşıyor: vaat başlıkta veriliyor, tez ve akış ilk bölümden önce duyuruluyor, ses bir editöryel anlatıcının sesi ve kapanış tezi yineliyor. İnsan yazıları ters yöne meyilli: duyurulmuş bir akış, riskin tırmandırılması ya da tezi yineleyen bir kapanış yok; yalnızca bu on özellikle kurulan sınıflandırıcı yine de 93,5 macro-F1'e ulaşıyor.

İnsan yazıları yapısal uzayda daha nadir bölgelerde duruyor: ortalama nadirlik yüzdelikleri 0,838, yapay zekâ yazılarında ise 0,435; en nadir yüzde birlik dilimde 149 insan ve yalnızca 4 yapay zekâ yazısı var.

Açık kaynak ve sınırlar

İşlem hattı, araç, istemler, kod ve toplu sonuç dosyaları GitHub'da yayımlandı. Makale sınırlarını da sıralıyor: veri kümesi yazılım ve ABD ağırlıklı, aynalar daha az bağlam taşıyan brieflerden üretildi ve yeniden yazma testi ticari „humanizer“ araçlarını değil, modellerin kendi kendini yeniden yazmasını kapsıyor. Yazar ayrıca Sitefire adlı ticari GEO ürününü işlettiğini beyan ediyor.