Colin Breck: Yazmadığınız şeyi okumak istemiyorum

Dağıtık sistemler üzerine kendi blogunda yazan yazılım mühendisi Colin Breck, „Yazmadığınız şeyi okumak istemiyorum“ başlıklı bir deneme yayımladı. Argümanı basit: Yapay zekâ daha iyi ve hızlı yazmaya yardımcı oluyor, ancak yapay zekânın yazdığı neredeyse her şeyi okumaktan bıkmış durumda.

Özet bir belge değildir

Breck sık gördüğü bir kalıbı anlatıyor: İnsanlar yapay zekâyla yeni bir şey inşa ediyor, ardından aynı araçla kurduklarını geriye dönük olarak bir tasarım belgesine özetliyor. Böyle bir belge uzlaşma sağlamak ve fikirleri yavaş, düşünülmüş bir süreçle olgunlaştırmak için yazılmış bir öneri değil; ayrıntıda yorucu, bağlamdan yoksun, makine üretimi bir özettir. Yazar bunu okunamaz ve insanlık dışı diye niteliyor.

Aynı eleştiri, onun ifadesiyle makinelerin makineler için yazdığı pull request açıklamaları için de geçerli: Neyin değiştiğine dair ayrıntı fazlasıyla var; ama iş neden önemli, ne kadar riskli ve acil, inceleyicinin katkısı nerede gerekiyor, bunlar yok. Yapay zekâyla üretilen ticket’lar ve toplantı özetleri de aynı sorunu taşıyor. Breck kişisel bir örnek de veriyor: Hassas bir konuda aldığı ve açıkça yapay zekâyla cilalanmış mesajın parçaları vardı ama bir bütün olarak anlam taşımıyordu.

Okurlar yapay zekâ kokan metinlerden kaçıyor

Denemede Cynthia Dunlop’un geliştiricilerin „yapay zekâ kokan“ blog yazılarına nasıl tepki verdiğine dair anketine yer veriliyor. Okurların çoğu bir makalenin yapay zekâ yardımıyla ya da tamamen onun tarafından yazıldığını düşünürse okumayı bırakıyor (%78) ve yazarı gelecekte de görmezden geliyor (%71). En güçlü sonuç ise şu: Katılımcıların %98’i yazarın kendi metnini, kusurları ve tuhaflıklarıyla birlikte, ruhsuz bir yapay zekâ yeniden yazımına tercih ediyor. Breck, LLM’e yazdırmanın „yazar ile okur arasındaki toplumsal sözleşmeyi geçersiz kıldığını“ savunan Bryan Cantrill’den alıntı yapıyor.

Yapay zekâ ona nerede yardım etti

Deneme araçların reddi değil. Breck geçtiğimiz günlerde kendi geliştirdiği bir veritabanı üzerine LaTeX’te akademik bir makale yazdı ve yapay zekâyı yoğun biçimde kullandı; ona tek bir satır bile yazdırmadı. Modele derginin stil kılavuzunu, daha önce yayımlanmış makaleleri, kaynak kodu, üretim yapılandırmasını, loglarını ve metriklerini verdi; sonra paragraflarını bu kaynaklara göre doğrulamasını, kaynakçayı tamamlamasını, yazım hatalarını bulmasını ve TikZ diyagramları çizmesini istedi. Model, dört uzman insan hakemin gözden kaçırdığı ince bir notasyon hatasını bile yakaladı. Yapay zekânın iyi yazdığı tek bölüm ise özet oldu; yazar onu değiştirmeden kullandı.

İki deneme ve bir sonuç

Breck iki çabaya işaret ediyor. İlki, 1980’lerde havacılık sektöründe doğan, kontrollü sözlüğe ve katı dilbilgisi kurallarına dayanan ASD-STE100 Simplified Technical English standardı; yapay zekâ modelleri için bir sürümü de var ve Breck bunu kurulum talimatları ile runbook’lar için denemeyi planlıyor. İkincisi, yapay zekâ metnini tanımak üzere ince ayarlanmış Pangram adlı dedektör; Cantrill onu kullanıyor ve Oxide’te tüm kamuya açık metinlerin Pangram tarafından insan yazısı olarak raporlanması şart. Breck’in sonucu: Niyetli yazı daha değerli hâle gelecek, hiç yazar olmamış insanlar ise yapay zekâyla çok miktarda metin üretecek. Bazen, diye yazıyor, kelimeleri bulamamak daha önemlidir.