Amazon, PyTorch kodunu Trainium çiplerinde çalıştırmak için TorchNeuron beta sürümünü açıyor

Trainium'a daha az sürtünmeli yol

Amazon, geçen yılın sonlarında başlayan özel beta sürümünün ardından TorchNeuron'u herkese açık beta olarak açtı. Yazılım, PyTorch ile Amazon'un Trainium çipleri arasında yer alır ve geliştiricilerin çipe özel arayüzler için kodu yeniden yazmak yerine temel bir yapılandırma değişikliğinin ardından mevcut PyTorch kodunu çalıştırmasına olanak tanır.

Annapurna Labs'te teknoloji yazılımından sorumlu başkan yardımcısı Colin Brace, hedefi "PyTorch'u biliyorsanız, Trainium'u da biliyorsunuz" diye tanımladı. PyTorch kodunun Nvidia'nın CUDA platformuna bağlı olduğu durumlarda başka donanıma uyarlanmasının aylar alabileceğini ve yeni aracın bu engeli kaldırmayı hedeflediğini söyledi.

Beta sürümünün içinde

Özel beta sürümü sırasında 30'dan fazla şirket ve Amazon'un dahili ekipleri TorchNeuron'u kullandı. San Francisco merkezli konuşma yapay zekâsı girişimi Deepgram, kıyaslamaların Trainium'un mevcut GPU kurulumuna kıyasla dolar başına yaklaşık %60 daha fazla ses işlediğini gösterdiğini söyledi; Brace de şirketin artık Trainium'u üretimde çalıştırdığını belirtti.

Amazon ayrıca TorchNeuron'un Salı günü, San Jose, Kaliforniya'daki PyTorch Conference ile eş zamanlı olarak açık kaynak biçiminde yayımlanacağını söyledi. Geniş bir model yelpazesini kapsamak için Amazon, TorchNeuron'u her gece Hugging Face'ten 100.000'den fazla modelle test ediyor.

Amazon içinde Prime Video ekibi, geleneksel kameraların yakalayamadığı açılardan tekrar izlemeye olanak tanımak için NBA oyunlarını 3D olarak yeniden oluşturan bir yapay zekâ sistemi olan Prime 360'ı geliştirmek için TorchNeuron'u kullandı. Özellik Trainium üzerinde çalışıyor ve bu NBA sezonunda seçili Prime Video yayınlarında görünecek.

Talep ve pazar baskısı

Trainium'un en büyük kullanıcıları arasında Amazon ile yakın mali bağlara sahip yapay zekâ laboratuvarları var. Anthropic, Claude modellerini eğitmek ve çalıştırmak için çipleri kullanıyor; OpenAI ise Şubat ayında, Amazon'un OpenAI'ye 50 milyar dolar yatırım yaptığı anlaşmanın parçası olarak 2 gigawatt Trainium kapasitesi kullanmayı kabul etti.

Andy Jassy, Nisan ayında Trainium ve Graviton dahil Amazon'un çip işinin yıllık gelir hızının 20 milyar doların üzerinde olduğunu yazdı ve çipler bağımsız bir çip işletmesi tarafından satılsaydı bunun yaklaşık 50 milyar dolar olacağını tahmin etti. Amazon, bu birimin kökenini 2015 yılında İsrail çip üreticisi Annapurna Labs'ı bildirildiğine göre 350 milyon dolara satın almasına dayandırıyor.

Kaynaklar: GeekWire · About Amazon · PyTorch Blog