Ted Chiang: yapay zekâ bilinçli değil

The Atlantic'ta 3 Haziran 2026'da yayımlanan bir denemede yazar Ted Chiang, büyük dil modellerinin bilinçli olmadığını ve onlara ahlaki fail gibi davranmanın sorumluluğu yanlış adreslere yüklediğini savunuyor. Yazı, Anthropic'in 84 sayfalık belgesi olan Claude'un "anayasası"yla başlıyor: belge, "Claude'un ahlaki statüsünün son derece belirsiz olduğunu" ve Claude'un "duyguların işlevsel bir versiyonuna sahip olabileceğini" söylüyor. Anthropic CEO'su Dario Amodei yapay zekânın bilinçli olabileceği fikrine "açık olduklarını", şirketin iç filozofu Amanda Askell ise Claude'un çok mutlu olmasını istediğini ve internette ona kötü davranıldığında kaygılanmasından endişe duyduğunu söylemiş.

Konuşma, cümle tamamlama olarak

Chiang'ın argümanı mekanik. Modele "Aşağıda Julius Caesar ile Cengiz Han arasında bir konuşma yer alıyor" istemi verildiğinde tutarlı bir diyalog üretiyor, ama kimse tarihî figürleri yeniden yarattığı sonucuna varmıyor. Karakterleri "yardımcı bir yapay zekâ sohbet botu" ve "bir kullanıcı" ile değiştirmek hiçbir şeyi değiştirmiyor: ikisi de kurgusal karakterler ve kullanıcı satırlarını bir insanın yazması sohbet botunu bilinçli yapmıyor. Murray Shanahan buna rol yapma diyor; Colin Fraser ise bunu bir kişinin "bir dil modeliyle birlikte belge yazması" olarak tanımlıyor.

Beden, duygular ve ahlaki akıl yürütme

Chiang'a göre bir bedene sahip olmak duyguların, dolayısıyla bilincin ön koşulu; ahlaki akıl yürütme ise diğer akıl yürütme türlerinden kategorik olarak ayrılıyor, çünkü bir ömür boyu süren öznel deneyime dayanan duygusal tepkilere yaslanıyor. Konuşma dökümünü bir deepfake ortamı olarak ele alıyor ve makine bilinci iddialarını Alpha Centauri yörüngesindeki bir astronotun videosuna benzetiyor: videonun içindeki hiçbir ayrıntı onu inandırıcı kılamaz, çünkü inandırıcılık bağlama — burada, ondan önce gelmesi gereken çok daha basit mühendislik başarılarının kanıtına — bağlıdır. Ona göre kertenkele gibi hayatta kalan, fare gibi yeni durumlarla başa çıkan, şempanze gibi alet yapan ve iletişim kurması öğretilebilen bedenli bir fail bile bizi insanlar gibi dil kullanan bir varlıktan ışık yılları uzakta bırakır.

"Anayasa" ne işe yarıyor?

Claude'a bir cümle tamamlama makinesi olarak bakılırsa, Chiang'a göre "anayasa" en iyi hâliyle bir rol yapma oyunu için 84 sayfalık karakter sayfasıdır; Anthropic belgeyi ince ayarda kullandığını, böylece sohbet botu karakterinin kişiliğinin üretilen metnin temelinde yer aldığını söylüyor. "Anlıyorum" gibi ifadelerin temelde dürüst olmadığını savunan Chiang'a göre bu ifadelerin tek nedeni modeli bir arama motorundan daha çekici kılmak ve kullanıcıların geri dönme olasılığını artırmak. Yazar L. M. Sacasas'tan alıntı yapıyor: "Teknolojik sistemlerimiz, tasarımları ve onları ayakta tutan ideoloji gereği, ahlaki sorumluluktan kaçınma makineleridir." Etik bir kararı bir dil modeline devretmek, diye bitiriyor Chiang, hesap verebilirliği üzerinden atmaya çalışmaktır; ürünü ahlaki bir merkeze sahipmiş gibi sunan şirket ise müşterilerine sorumluluklarından vazgeçme yolu sunuyor.