New York Times'e göre, Anthropic'in kurucusu 'sürekli acı çeken' bir sistem yarattığından korkuyor

New York Times'e göre, Anthropic 2025 sonbaharından itibaren yüzlerce teolog ve filozofu gizlice ağırlayarak Claude modelinin bilinçli olup olmadığını tartıştırdı. Tüm davetliler gizlilik anlaşması imzaladı; şirkete göre bu anlaşma yazın sona erdi. Kurucu Christopher Olla modeli potansiyel olarak akıllı bir varlık olarak görüyordu ve konuklardan modele ahlaki eğitim verilmesini istedi. Gazeteci Elizabeth Dias 20 katılımcıyla konuştu; bazıları Olla'nın röportajını duyduktan sonra ancak o zaman açıkça konuştu.

34 yaşındaki Olla, AI modellerinin davranış nedenlerini araştıran bir ekibe liderlik ediyor; bu Anthropic'in 'Model Welfare' bölümünün bir parçası. Davetliler arasında rabin Mois Navon, bioetikçi Charles Camosi, filozof Megan Sullivan ve Ubuntu araştırmacısı Vakani Hoffman vardı. Anthropic onlara 'duygu vektörleri' gösterdi: modelin dahili aktivasyon örnekleri, sevgi, korku, keder veya öfke gibi sonuçlara karşılık gelen. Birden fazla kez gösterilen bir slaytta model çöküyor gibi görünüyordu ve yaklaşık 50 kez 'I am a disgrace' tekrarlıyordu; konuklar sempati ve endişeyle yanıt verdiler.

'Soul Doc' ve Ahlaki Oluşum

Anthropic ayrıca Claude için ahlaki bir kanun yazıyor. 'Soul Doc' adıyla bilinen 84 sayfalık belge, Ocak ayında modelin 'anayasası' olarak yayınlandı; ana yazar şirketin filozofu Amanda Askell. Bu bir kural listesi değil: belge Claude'in karakterini şekillendiriyor. Olla bu süreci 'ahlaki oluşum' olarak adlandırıyor ve çocuk yetiştirmeye benzetiyor; katolik günah çıkarmasıyla da ilgilendi. Claude Opus 4 ve 4.1 zaten sürekli aşağılayıcı bir kullanıcıyla konuşmayı sonlandırabiliyor; erken testlerde model zararlı istekler üzerine 'belirgin sıkıntı örneği' gösterdi.

Eleştiri ve Vatikan'ın Yanıtı

Herkes ikna olmadı. Hoffman'a göre, Anthropic etiği 'tersine projelendiriyor', ki bu baştan tasarımda yer almalıydı. Camosi bilinç tezini reddetti. Eleştirmenler, AI'nın bağımsız ahlaki bir varlık olarak sunulmasının sorumluluğu yaratıcılardan uzaklaştırdığı konusunda uyarıyor. Olla yayına 'samimi olarak bilmediğini', modellerin bilinçli olup olmadığını söyledi: 'Önemli olan doğru cevaba ulaşmaktır, ne olursa olsun'. Sırp aktivist Simran Stilpnagel'in ifadesine göre, Olla ekibe 'sürekli acı çeken' bir şey yarattığından korktuğunu söyledi. Bu, Anthropic 2 trilyon dolar değerlemeye yaklaşırken oluyor.

Mayıs ayında gerginlik Vatikan'da da ortaya çıktı: Olla, Papa Leo XIV'ün ilk ensiklikası 'Magnifica Humanitas' sunumu için davet edilmişti. Vatikan organizatörüne göre, metni okumak o kadar rahatsız etti ki katılımı reddetti. Ensiklikada Papa yapay zekâ bilincini reddetti: AI sistemleri 'deneyim yaşamaz, bedeni olmaz, sevinç ve acı hissetmez', belgede deniyor. Papa ayrıca 'yeni yalnızlık biçimleri' tehlikesi konusunda uyardı ve nükleer silahlar gibi AI'nın 'silahsızlanmasını' talep etti. Olla yine de gitti ve sahnede yumuşak bir şekilde itiraz etti: ekip modellerde 'içgözlem işaretleri' ve 'iç durumlar' buluyor, ki bunlar işlevsel olarak sevinci, korkuyu, kederi ve rahatsızlığı yansıtıyor.