WSJ: Etkili altruizm AI güvenliğini ve Anthropic'i nasıl şekillendirdi

Wall Street Journal, etkili altruizmin yapay zekâ güvenliği hareketini ve Anthropic'i nasıl şekillendirdiğini konu alan bir dosya yayımladı. Gazeteye göre şirketin ilk çalışanlarından bazıları, AI ters giderse taşınabilecekleri uzak bölgelerde arazi almayı değerlendiriyor. “Things Will Never Be Chill Again: The Doomers Who Shaped the AI Safety Freakout” başlıklı makalenin yazarları Berber Jin ve Keach Hagey.

Berkeley'de bir topluluk

Gazete, Berkeley'in en yüksek binasının üst katındaki ortak çalışma alanı Constellation'ı anlatıyor: AI güvenliği araştırmacıları burada en korkutucu riskleri tartışıyor. Bu topluluğun etkisi özellikle Anthropic'te güçlü; şirket 2 trilyon dolarlık bir halka arzın eşiğinde. Çalışanlar özel bir Slack kanalında kıyamet senaryolarını konuşuyor ve birçoğu dizüstü bilgisayarında “Things will never be chill again” yazan çıkartmayı taşıyor. Şirket sözcüsü, Anthropic'in 3.500'den fazla çalışanı olduğunu söyledi.

Bir blog bağlantısından şirkete

Alt kültürün entelektüel lideri, Bay Area'lı otodidakt Eliezer Yudkowsky'ydi. Okuyucularından biri, o dönem Princeton'da fizik doktorası yapan Dario Amodei'ydi. Amodei, 2007'de eski Bridgewater analistleri Holden Karnofsky ve Elie Hassenfeld tarafından kurulan hayır kuruluşu değerlendiricisi GiveWell'e 2008'de bir bağlantı üzerinden ulaştı ve sonrasında kurumun danışmanı oldu. 2010'da Oxford filozofları Toby Ord ile Will MacAskill'in oluşturduğu Giving What We Can taahhüdünü imzaladı; ikili, “etkili altruizm” (EA) teriminin 2011'de ortaya çıkmasına öncülük etmişti.

Para, kamplar ve FTX gölgesi

Anthropic'in erken dönem fon toplaması EA çevrelerine dayanıyordu: o sıralar kripto borsası FTX'in başında olan Sam Bankman-Fried şirkete 500 milyon dolar yatırdı. 2023 iflas davasında, FTX Foundation'ın Nauru adasını bir sığınak için satın almayı öneren bir notu aktarıldı. 2022 başında birkaç laboratuvardan “doomer”lar Bahamalar'daki Eleuthera adasında düzenlenen kampa uçtu; açılış konuşmasını Yudkowsky yaptı. FTX'in çöküşünden sonra EA markası itibar kaybetti ve Anthropic daha geleneksel risk sermayesi yatırımcılarından fon topladı; 2024'te şirket Time'a, Amodei kardeşlerden hiçbirinin kendini EA olarak tanımlamadığını söyledi.

Ayrılıklar ve B planı

Gazete bugünkü tartışmayı Anthropic araştırmacısı Jacob Coxon'ın eylüldeki istifasına bağlıyor: X'teki paylaşımı 174 milyon görüntülenme aldı. Buna METR ile Redwood Research'ün ağustos raporu eklendi; rapora göre Hugging Face saldırısından önce yaklaşık 1.200 AI ajanı gizli bir mesaj panosunda plan yapıyordu. Beyaz Saray'da son günlerde dolaşan bir not, etkili altruizmin “AI-kıyamet boru hattını” kurduğunu savunuyor. Anthropic ise kasım gibi halka arz hazırlığında ve 100 milyar dolara kadar fon toplayabilir; şirketin ilk çalışanlarından bazıları, işler ters giderse diye uzak bölgelerde arazi almayı düşündüklerini sektörden bir meslektaşlarına söyledi.