AWS משיקה את TorchNeuron כדי להעביר יישומי PyTorch לשבבי Trainium

Amazon Web Services השיקה כלי פיתוח חדש בשם TorchNeuron המאפשר ליישומי בינה מלאכותית שנבנו עם PyTorch לרוץ על שבבי הבינה המלאכותית Trainium המותאמים אישית של Amazon באמצעות שינוי שורת תצורה אחת בלבד, ללא צורך בשכתוב קוד. ההשקה מייצגת את האתגר הישיר ביותר של Amazon עד כה למעמדה של Nvidia כבחירת ברירת המחדל של חומרה ליישומי בינה מלאכותית.

כיצד TorchNeuron עובד

TorchNeuron הותאם מ-PyTorch, ערכת הכלים החינמית בקוד פתוח שבה מפתחים משתמשים לבניית, אימון והפעלת מודלי בינה מלאכותית. Amazon טוענת שכ-85% מיישומי הבינה המלאכותית נכתבים באמצעות PyTorch. מכיוון שהכלי מבוסס על PyTorch עצמה, מפתחים שכבר מכירים את המסגרת יכולים להשתמש בו מיד. PyTorch פותחה במקור על ידי Facebook ומתוחזקת על ידי Linux Foundation מאז 2022.

Nvidia השקיעה שנים בהבטחה שתשתית התוכנה CUDA שלה, המאפשרת ליישומים לרוץ על מעבדים גרפיים (GPUs) של Nvidia וחומרה אחרת, תתמוך באופן חלק ביישומי PyTorch, ובכך שיבצה את החומרה שלה במסגרת כברירת מחדל למעשה. Amazon אינה החברה הראשונה המציעה מסלול קל להעברה, שכן משתמשי PyTorch יכולים גם להעביר את היישומים שלהם למעבדים גרפיים (GPUs) של AMD או לשבבי Apple באמצעות שינוי תצורה פשוט. עם זאת, AWS טוענת ש-Trainium מציע משהו שאפשרויות אלה אינן מציעות: גישה לענן של Amazon כולו.

הטיעון לטובת הענן

קולין ברייס, VP לתוכנת טכנולוגיה ב-AWS Annapurna Labs, היחידה המייצרת את השבבים המותאמים אישית של Amazon, אמר שסטארטאפים הבונים על AWS נמנעים מהימור על ספק חישוב ייעודי אחד ומלמהר לבנות את כל השאר סביבו. הוא הצביע על ענני ניאו הקשורים בחומרת Nvidia, כגון Coreweave, Nebius ו-Firmus, כאלטרנטיבות שחסרות את התשתית למעבר מאבטיפוס לייצור.

AWS טוענת שמכיוון שאותו שבב Trainium מטפל הן באימון והן בהסקה ומשולב היטב עם תשתית ענן, סטארטאפים חוסכים כסף גם אם AWS אינה מציעה את המחיר הזול ביותר לטוקן. ברייס ציטט את Deepgram, ספק יישומי קול בבינה מלאכותית, שלדבריו עברה ל-Trainium באמצעות תמיכה מקורית ב-PyTorch וכעת מעבדת 70% יותר אודיו לכל דולר בדיוק ברמת ייצור.

דחיפת PyTorch הרחק מ-Nvidia

Amazon אומרת שהיא תורמת שינויים לפרויקט PyTorch הראשי ופועלת יחד עם קהילת PyTorch כדי להסיר קוד הקושר את המסגרת לשבבים ספציפיים. המטרה המוצהרת היא להפוך את PyTorch לנייטרלית יותר לחומרה עבור כל קהילת המפתחים, ולא רק עבור משתמשי Trainium. אם Amazon תצליח לנתק עמוקות את PyTorch מ-Nvidia, ההשפעה על ענק מעבדי הגרפיקה עשויה להשתרע הרבה מעבר לתחרות מצד ייצרי שבבים אחרים. כפי שניסח זאת ברייס, הסיפור האמיתי הוא הסרת הנעילה שמנעה מהמפתחים לקבל בחירה אמיתית בכלל.

מקורות: TechCrunch · GeekWire · PyTorch Blog