AWS, PyTorch Uygulamalarını Trainium Çiplerine Taşımak İçin TorchNeuron'u Yayınladı

Amazon Web Services, PyTorch ile oluşturulmuş yapay zeka uygulamalarının kod yeniden yazımı gerektirmeden, tek bir yapılandırma satırını değiştirerek Amazon'un özel Trainium yapay zeka çiplerinde çalışmasına olanak tanıyan TorchNeuron adlı yeni bir geliştirici aracını yayınladı. Bu sürüm, Amazon'un yapay zeka uygulamaları için varsayılan donanım seçimi konumundaki Nvidia'ya yönelik şimdiye kadarki en doğrudan meydan okuma niteliğinde.

TorchNeuron Nasıl Çalışır

TorchNeuron, geliştiricilerin yapay zeka modellerini oluşturup eğitip çalıştırdıkları ücretsiz ve açık kaynaklı araç seti olan PyTorch'ten uyarlanmıştır. Amazon, yapay zeka uygulamalarının yaklaşık %85'inin PyTorch ile yazıldığını söylüyor. Araç PyTorch'in kendisinden temel alındığı için, çerçeveyi zaten bilen geliştiriciler hemen kullanabilir. PyTorch başlangıçta Facebook tarafından geliştirilmiş ve 2022'den bu yana Linux Foundation tarafından sürdürülmüştür.

Nvidia, uygulamaların Nvidia GPU'ları ve diğer donanımlarda çalışmasını sağlayan CUDA yazılım altyapısının PyTorch uygulamalarını kesintisiz desteklemesi için yıllarca çalıştı ve donanımını çerçeveye fiilen varsayılan olarak yerleştirdi. Amazon, kolay bir taşıma yolu sunan ilk şirket değil, çünkü PyTorch kullanıcıları uygulamalarını da yalnızca basit bir yapılandırma değişikliğiyle AMD GPU'larına veya Apple çiplerine taşıyabilir. Ancak AWS, Trainium'un bu seçeneklerde olmayan bir şey sunduğunu savunuyor: Amazon'un bulutunun tamamına erişim.

Bulut Argümanı

Amazon'un özel çiplerini üreten birim olan AWS Annapurna Labs'ta Teknoloji Yazılımı Başkan Yardımcısı Colin Brace, AWS üzerinde kuran girişimlerin, tek amaçlı bir hesaplayıcı sağlayıcısına bahse girmekten ve etrafında her şeyi aceleyle kurmaktan kaçındığını söyledi. Nvidia donanımına bağlı Coreweave, Nebius ve Firmus gibi neo bulutları, prototipten üretime geçiş için altyapıları eksik alternatifler olarak gösterdi.

AWS, aynı Trainium çipinin hem eğitimi hem de çıkarımı üstlendiğini ve bulut altyapısıyla sıkı bütünleşik olduğunu belirterek, AWS token başına en düşük fiyatı sunmasa bile girişimlerin para tasarrufu ettiğini savunuyor. Brace, yapay zeka ses uygulaması sağlayıcısı Deepgram'ın yerel PyTorch desteğini kullanarak Trainium'a geçtiğini ve üretim düzeyi doğrulukla dolar başına %70 daha fazla ses işlediğini belirtti.

PyTorch'u Nvidia'dan Uzaklaştırmak

Amazon, ana PyTorch projesine değişiklikleri upstream'e ileterek katkıda bulunduğunu ve PyTorch topluluğuyla birlikte çerçeveyi belirli çiplere bağlayan kodu kaldırmak için çalıştığını söylüyor. Belirtilen amaç, PyTorch'u yalnızca Trainium kullanıcıları için değil, tüm geliştirici topluluğu için donanımdan daha bağımsız hale getirmek. Amazon, PyTorch'u Nvidia'dan derinden ayırmayı başarırsa, GPU devi üzerindeki etki diğer çip üreticilerinden gelen rekabetin çok ötesine uzanabilir. Brace'in de dediği gibi, gerçek hikâye, geliştiricilerin gerçek bir seçeneğe hiç sahip olmasını engelleyen kilidi kaldırmaktır.

Kaynaklar: TechCrunch · GeekWire · PyTorch Blog