אמזון פותחת את בטת TorchNeuron להרצת קוד PyTorch על שבבי Trainium

נתיב בעל חיכוך נמוך יותר אל Trainium

אמזון פתחה את TorchNeuron כבטה ציבורית לאחר בטה פרטית שהחלה בסוף השנה שעברה. התוכנה יושבת בין PyTorch לבין שבבי Trainium של אמזון, ומאפשרת למפתחים להריץ קוד PyTorch קיים לאחר שינוי תצורה בסיסי במקום לכתוב אותו מחדש עבור ממשקים ספציפיים לשבב.

Colin Brace, סמנכ"ל תוכנה טכנולוגית ב-Annapurna Labs, תיאר את המטרה כך: "אם אתם מכירים את PyTorch, אתם מכירים את Trainium". הוא אמר שהתאמת קוד PyTorch לחומרה אחרת עשויה להימשך חודשים כאשר היא תלויה בפלטפורמת CUDA של Nvidia, ושהכלי החדש נועד להסיר את המחסום הזה.

בתוך הבטה

יותר מ-30 חברות וצוותים פנימיים של אמזון השתמשו ב-TorchNeuron במהלך הבטה הפרטית. Deepgram, סטארטאפ בינה מלאכותית לדיבור מסן פרנסיסקו, מסרה שבדיקות הביצועים הראו ש-Trainium מעבד כ-60% יותר שמע לכל דולר מאשר מערך ה-GPU הקיים שלה, ולפי Brace החברה מפעילה כעת את Trainium בייצור.

אמזון גם מסרה ש-TorchNeuron ישוחרר כקוד פתוח ביום שלישי, לצד כנס PyTorch בסן חוזה, קליפורניה. כדי לכסות מגוון רחב של מודלים, אמזון בודקת את TorchNeuron מדי לילה מול יותר מ-100,000 מודלים מ-Hugging Face.

בתוך אמזון, צוות Prime Video השתמש ב-TorchNeuron כדי לבנות את Prime 360, מערכת בינה מלאכותית שמשחזרת מהלכי NBA בתלת-ממד כדי לאפשר צפייה חוזרת מזוויות שמצלמות מסורתיות אינן יכולות לתפוס. התכונה פועלת על Trainium ותופיע בשידורים נבחרים של Prime Video בעונת ה-NBA הזו.

ביקוש ולחץ שוק

המשתמשים הגדולים ביותר ב-Trainium כוללים מעבדות בינה מלאכותית עם קשרים פיננסיים הדוקים לאמזון. Anthropic משתמשת בשבבים כדי לאמן ולהריץ מודלי Claude, ו-OpenAI הסכימה בפברואר להשתמש ב-2 גיגה-וואט של קיבולת Trainium כחלק מעסקה שבה אמזון משקיעה 50 מיליארד דולר ב-OpenAI.

Andy Jassy כתב באפריל שעסק השבבים של אמזון, כולל Trainium ו-Graviton, הגיע לקצב הכנסות שנתי של יותר מ-20 מיליארד דולר, והוא העריך שהוא יהיה כ-50 מיליארד דולר אילו נמכרו השבבים בידי עסק שבבים עצמאי. אמזון מייחסת את היחידה לרכישת יצרנית השבבים הישראלית Annapurna Labs ב-2015 תמורת 350 מיליון דולר לפי הדיווחים.

מקורות: GeekWire · About Amazon · PyTorch Blog