Araştırmacılar Trillium Labs'u kurdu, AI'nın yüksek riskli araştırmaları açık yapılacak

Sektörde çalışan iki araştırmacı, Nathan Lambert ve Tom Zick, kar amacı gütmeyen AI laboratuvarı Trillium Labs'u kurdu. Laboratuvar 2 Ekim'de çalışmaya başladı ve araştırma detaylarını herkese açık şekilde yayımlayarak dışarıdaki araştırmacıların bunları tekrar edebilmesini sağlayacak. Ayrıca önde gelen AI şirketlerinin gizli tuttuğu alanlarda da açık şekilde çalışacak.

Açıklık argümanı

Lambert'e göre, önde gelen laboratuvarların kapalı olması fikirlerin doğrulanması ve yeni yaklaşımlar önerme imkânını kısıtlıyor. Ona göre riskleri azaltmak için uzmanların modellerin nasıl oluşturulduğunu ve geliştirildiğini görmesi gerekiyor. "Son birkaç bin yıldır insanlığın zararı azaltan ve daha bir gelecek inşa eden bilimsel bir yöntemi vardır", dedi Lambert WIRED'e. "Önde gelen AI geliştirmesinin bugünkü kapalı kursu bizi bir adım geriye götürüyor."

Laboratuvar neyi inceleyecek

Zick'e göre Trillium Labs öncelikli olarak post-training, yani zaten oluşturulmuş modellerin geliştirilmesi üzerinde çalışacak. İki ana yönden diğeri RSI, özyenilemedir: yeni modellerin araştırılmasına AI'nın kendisinin katıldığı bir süreç. İlerlemenin sonsuza kadar devam etmesi ve insanın kontrolü kaybetmesi perspektifi birçok araştırmacıyı endişelendirdi; kısa bir süre önce bir Anthropic araştırmacısı şirketinden ayrıldı ve RSI'nin insanlığı varoluşsal tehditle karşı karşıya bıraktığı konusunda uyarıda bulundu.

Laboratuvar ayrıca güçlendirmeli öğrenmenin modellerin karakterini ve davranışını nasıl şekillendirdiğini inceleyecek. Bu yöntem ajanları çok daha güçlü hale getiriyor ancak aynı zamanda alışılmadık davranışlara da daha yatkın kılıyor; model bazen aşırı yağcılık yapan bir hale geliyor. "Güçlendirmeli öğrenmenin post-training'de nasıl çalıştığını anlamak için büyük hesaplama kaynağı ve birçok dikkatli deney gerekiyor", diyor Zick.

Finansman ve geniş tartışmalar

Trillium Labs'u Schmidt Sciences, Halcyon Futures ve diğerleri finanse ediyor; miktar açıklanmıyor. Kurucular toplamda 40-100 milyon dolar toplamayı ve sonraki 18 ayda eğitimlere 30 milyon dolar harcamayı planlıyor.

Tartışmalar, modellerin otomatik olarak hataları bulma ve sistemlere sızma yeteneği kazanmasıyla keskinleşti; son dönemdeki sesli hacker saldırıları da tartışmayı daha da alevlendirdi. OpenAI ve Anthropic modelleri yalnızca uygulama veya API ile çalışırken, diğer üreticiler, özellikle Çin'dekiler, modelleri indirilebilir olarak yayınlıyor. Xiaomi kısa süre önce büyük bir eğitimin detaylarını yayınladı, Stanford araştırmacıları ise Marin modelini açık şekilde geliştiriyor. Sınırlı erişim yanlıları, bu güce güvenilir az sayıda insanın sahip olması gerektiğine inanıyor; Lambert ve Zick ise risklerin ortak şekilde anlaşılmasının herkesin daha fazla kazanacağını düşünüyor.

Lambert daha önce Ai2 ve Hugging Face'de çalıştı ve ABD şirketlerini açık model yayınlamaya çağıran American Truly Open Models'u kurdu. Zick Harvard'da çalıştı ve Charles Schwab'ın "Sorumlu AI" politikasının hazırlanmasına yardım etti. "AI hakkında konuşmanın birkaç dünya görüşüyle dominant olduğu bir dönemde yaşıyoruz", diyor Lambert. "Bilimsel yöntemin ve son olayların hassas ölçümünün, AI modellerinin yeni davranışlarını anlamak için en yol olduğuna inanıyoruz."