Amazon, PyTorch kodunu Trainium çiplərində işlətmək üçün TorchNeuron betasını açır

Trainium-a daha az maneəli yol

Amazon, keçən ilin sonlarında başlayan gizli betadan sonra TorchNeuron-u ictimai beta kimi açıb. Proqram PyTorch ilə Amazon-un Trainium çipləri arasında yerləşir və tərtibatçılara çipə xüsusi interfeyslər üçün kodu yenidən yazmaq əvəzinə, yalnız əsas konfiqurasiya dəyişikliyi etməklə mövcud PyTorch kodunu işlətməyə imkan verir.

Annapurna Labs-in texnologiya proqram təminatı üzrə vitse-prezidenti Colin Brace məqsədi belə ifadə edib: “PyTorch-u bilirsinizsə, deməli Trainium-u da bilirsiniz.” O, PyTorch kodunun Nvidia-nın CUDA platformasından asılı olduqda başqa avadanlığa uyğunlaşdırılmasının aylar apara biləcəyini və yeni vasitənin bu maneəni aradan qaldırmağı hədəflədiyini söyləyib.

Betanın içində

Gizli beta dövründə 30-dan çox şirkət və Amazon-un daxili qrupları TorchNeuron-dan istifadə edib. San-Fransiskodan səs AI startapı Deepgram bildirib ki, benchmark nəticələri Trainium-un mövcud GPU qurğusuna nisbətən bir dollara təxminən 60% daha çox audio emal etdiyini göstərib; Brace-ın sözlərinə görə, şirkət indi Trainium-u istehsalatda işlədir.

Amazon həmçinin bildirib ki, TorchNeuron çərşənbə axşamı, Kaliforniyanın San-Xose şəhərində keçirilən PyTorch Conference ilə birgə açıq mənbə kimi buraxılacaq. Geniş model çeşidini əhatə etmək üçün Amazon TorchNeuron-u hər gecə Hugging Face-dən 100.000-dən çox model üzərində yoxlayır.

Amazon daxilində Prime Video qrupu NBA oyunlarını 3D-də bərpa edən və adi kameraların çəkə bilmədiyi bucaqlardan təkrar baxışa imkan verən Prime 360 adlı AI sistemini qurmaq üçün TorchNeuron-dan istifadə edib. Xüsusiyyət Trainium üzərində işləyir və bu NBA mövsümündə Prime Video-nun seçilmiş yayımlarında görünəcək.

Tələb və bazar təzyiqi

Trainium-un ən böyük istifadəçiləri Amazon ilə sıx maliyyə əlaqələri olan AI laboratoriyalarıdır. Anthropic çiplərdən Claude modellərini öyrətmək və işlətmək üçün istifadə edir, OpenAI isə fevralda Amazon-un OpenAI-ya 50 milyard dollar sərmayə qoyduğu razılaşma çərçivəsində 2 qiqavat Trainium tutumundan istifadə etməyə razılaşıb.

Andy Jassy apreldə yazıb ki, Amazon-un çip biznesinin, Trainium və Graviton daxil olmaqla, illik gəlir tempi 20 milyard dolları keçib və çiplər müstəqil çip biznesi tərəfindən satılsaydı, bu göstəricinin təxminən 50 milyard dollar olacağını təxmin edib. Amazon bu bölmənin tarixini 2015-ci ildə İsrail çip istehsalçısı Annapurna Labs-in bildirilən 350 milyon dollara alınması ilə əlaqələndirir.

Mənbələr: GeekWire · About Amazon · PyTorch Blog