פרופסור מסטנפורד מציע פרוטוקול חדש Homa במקום TCP

TCP, הפרוטוקול שעליו בנויים האינטרנט ושירותי ענן, אינו מתאים לעומסי עידן ה-AI, לטענת פרופסור מכובד מאוניברסיטת סטנפורד ג'ון אוסטרהאאות. כפתרון הוא הציע פרוטוקול חדש, Homa, ומגדיר כעת את הפצתו כ"משימת חייו".

"TCP, למרות כל אמינותו, אינו מתאים לביזור", אמר אוסטרהאאות בכנס AI Engineer World's Fair.

למה TCP כבר לא מספיק

TCP נוצר כדי לסדר את תנועת הרשת: יש לו בקרת זרם, ערבות מסירה וניהול עומס. אך מודל הנתונים שלו הוא זרם של בתים: הודעות נשלחות ללא עדיפות והמקבל אינו יכול לבחור בין שליחה ארוכה לקצרה. השולח מאולץ לנחש, על בסיס אישורים, כמה להאט את הזרם.

עבור תנועת אינטרנט רגילה זה מקובל, אבל לא עבור עומסי AI רגישים להשהיה: מעבדות מעבירות בין GPU-ים יקרים משקלי מודל, KV cache וצ'קפוינטים, ורוחשים רוחב פס עם הרצקות קצרות של סוכנים ומשימות בקרה. "עבור עומסים אלו ההשהיה היא העיקר", אמר אוסטרהאאות; אפילו מילישנייה אחת משאירה GPU יקר מתפקיד.

איך Homa עובד

Homa מבוסס על הודעות במקום זרם: בדומה ל-RPC, אורך ההודעות מוגדר במדויק. בשונה מ-TCP, המקבל מנהל את העומס: כבר מהחבילה הראשונה הוא מנחש כמה נתונים מגיעים, קובע בעצמו את סדר השליחה ומעניק עדיפות להודעות קצרות באלגוריתם SRPT.

כתוצאה מכך, ההשהיה באחוזון ה-99 של הודעות קצרות עם Homa היא 92 מיקרו-שניות, לעומת 1.2 מילישנייה עם TCP, כלומר פי 13 פחות (ברשת 100 Gbps, בעומס של 80%). גם על הודעות ארוכות Homa מהיר פי כפול בערך.

סטנדרטיזציה והטמעה

העבודה על Homa החלה עם תזה שפורסמה ב-2019; מחברה, בהנאם מונטאזרי, עובד כעת כמהנדס ב-Google. אוסטרהאאות מכין מסמך סטנדרטיזציה של IETF ועובד על הוספת Homa לליבת Linux; במרץ הפרוטוקול הועבר לגרסאות 8 ו-9.5 של Red Hat Enterprise Linux.

לטענת אוסטרהאאות, הוספת Homa לרשת פשוטה: יש לבנות את הקוד מ-GitHub ולהתקין את המודול בליבות Linux של לקוחות ושרתים, ללא עומס. "Homa עובד לצד TCP, כך שאפליקציות יכולות לעבור בהדרגה מ-TCP ל-Homa", הוא כותב. הפעלת Homa מאיצה גם אפליקציות TCP קיימות; כעת אוסטרהאאות עובד על אב טיפוס עם חברת פיננסים גדולה.

ספקנות ואלטרנטיבות

לא כולם משתפים שקול זה: הארכיטקטור הרשתית המפורסמת איוון פפלניאק פרסם ב-2023 מאמר ביקורתי חריף, שבו מטיל ספק בהערכות של אוסטרהאאות לגבי פעולת TCP ומתייחס ל-Homa כ"פתרון מחפש בעיות".

אחרים מקפצים על מגבלות TCP: מסדי נתונים משתמשים ב-DPDK למטרה זו, רשתות אחסון עברו ל-NVMe over Fabrics, ו-Google יצרה את QUIC (הבסיס ל-HTTP/3). פתרונות משלהם מציעים רשתות RDMA ו-Scalable Reliable Datagram של AWS; לעת עכשיו TCP עדיין מוביל.