Google מוסיפה את TPU 8tx ו-TPU 8i Max לשורת שבבי ה-AI מהדור השמיני

Google הוסיפה שתי מערכות חדשות, TPU 8tx ו-TPU 8i Max, לשורת מאיצי ה-AI מהדור השמיני שלה. החברה מציינת כי לראשונה היא סיפקה ארבע מערכות TPU בתוך שנה אחת, כאשר שני הדגמים החדשים מבוססים על סיליקון קיים ולא על דור שבבים חדש. התוספות מכוונות למחשוב חסוי ולעומסי עבודה עתירי זיכרון, בעוד Google משווקת את שבבי ה-AI הפנימיים שלה בצורה רחבה יותר ללקוחות חיצוניים.

מחשוב חסוי עם TPU 8tx

ה-TPU 8tx מיועד לארגונים ולסוכנויות ממשלתיות שעובדים עם נתונים חסויים. Google מציינת כי הנתונים ומשקלי המודל נשארים מוגנים ומבודדים גם במהלך עיבוד פעיל, וכך נסגר הפער המקובל שבו יש לפענח נתונים בזיכרון בזמן שהמעבד עובד איתם. Nvidia כבר מציעה יכולת דומה ל-GPU דרך ארכיטקטורת המחשוב החסוי שלה. המערכת משתמשת ברשת Boardfly בעלת השהיה נמוכה של Google ואמורה לספק הפחתת השהיה של עד פי שניים בהשוואה ל-TPU 8t. Google מציינת כי ארגונים יכולים להשתמש במערכת אחת כדי לכוונן מודלים, לזקק מודלים גדולים למודלים קטנים יותר, ולאמן סוכני AI באמצעות למידת חיזוק ללא העברת נתונים רגישים בין אשכולות.

עומסי עבודה עתירי זיכרון עם TPU 8i Max

ה-TPU 8i Max מתמודד עם מגבלות רוחב הפס של הזיכרון שעלולות להתעורר כאשר סוכני AI עובדים על בסיסי קוד גדולים או על שעות של וידאו. Google הציבה שני שבבי TPU 8i על מארז אחד, וכך הכפילה את כוח החישוב, הזיכרון ורוחב הפס של הזיכרון באותו פורמט מתקן. החברה מציינת כי הדבר מביא לשיפור משמעותי בביצועים לכל מטר רבוע של שטח במרכז נתונים.

תוכנה ואימוץ חיצוני

Google שחררה את TorchTPU כקוד פתוח כך שניתן יהיה להריץ קוד PyTorch על TPU עם שינויים מינימליים, והיא תומכת במסגרות הסקה כגון vLLM ו-SGLang. Google מונה כיום כמעט 100 לקוחות TPU חיצוניים, מה שמשקף מעבר מהתייחסות ל-TPU ככלי פנימי לשיווקם כפלטפורמה תחרותית. החברה גם מציגה את גישת המערכת המודולרית שלה כבחירת עיצוב מכוונת שיכולה לספק גרסאות חומרה חדשות תוך חודשים ולא שנים.

הקשר שוק

ככל שיישומי AI מתפשטים, המוקד עובר מהרצות אימון יקרות להסקה, כלומר להפעלה השוטפת של מודלים. שבבים ייעודיים כגון TPU יכולים לממש את יתרונותיהם בתחום זה. גם Amazon, Microsoft ו-OpenAI מפתחות מאיצים משלהן, בעוד Nvidia חיזקה את הצעת ההסקה שלה באמצעות עסקת acqui-hire ורישוי עם Groq.

מקורות: The Decoder