Stenford professoru TCP əvəzinə yeni Homa protokolunu təklif edir

TCP — internet və bulud xidmətləri qurulduğu protokol — AI dövrünün yükləmələrinə pis çatır, deyir Stenford Universitetinin sabit professoru Con Ousterhout. Nəticə olaraq o, yeni Homa protokolunu təklif etdi və onun yayılmasını indi öz „həyat missiyası“ sayır.

„TCP bütün etibarlılığına baxmayaraq, mərkəzləşmə üçün uyğun deyil“, — deyib Ousterhout AI Engineer World's Fair-da.

TCP nə üçün artıq uyğun deyil

TCP şəbəkə trafikini nizamlamaq üçün yaradılıb: onda axın nəzarəti, çatdırılmanın zəmanəti və yükləmə idarəetməsi var. Ancaq onun məlumat modeli bayt axınıdır: mesajlar prioritetsiz göndərilir və qəbul edici uzun ötürülməni qısa ilə seçə bilmir. Göndərən isə təsdiqlərə əsaslanaraq axını nə qədər yavaşaldacağını təxmin etməlidir.

Adi internet trafiki üçün bu qəbul edilə bilər, gecikməyə həssas AI yükləmələri üçün isə yox: laboratoriyalar arasında model çəkilərini, KV keşini və çekpointləri ötürürlər və ötürücülüyü agentlərin və nəzarətin qısa işlərinə paylaşırlar. „Bu yükləmələr üçün əsas gecikmədir“, — deyib Ousterhout; bir millisaniyə belə bahalı GPU-nu boş gözləyir.

Homa necə işləyir

Homa axın əvəzinə mesajlara əsaslanır: RPC kimi mesajların uzunluğu dəqiq müəyyən edilir. TCP-dən fərqli olaraq, yükləməni qəbul edici idarə edir: ilk paketdən etibarən o, gələn məlumatın miqdarını özü müəyyən edir, göndərmə sırasını təyin edir və SRPT alqoritmi ilə qısa mesajlara üstünlük verir.

Nəticədə, qısa mesajların gecikməsinin 99-cu percentili Homa-da 92 mikrosaniyə, TCP-də isə 1,2 millisaniyədir, yəni 13 dəfə azdır (100 Gbit/s şəbəkədə, 80% yükləmədə). Uzun mesajlarda da Homa təxminən iki dəfə sürətlidir.

Standartlaşdırma və tətbiq

Homa üzərində iş 2019-cu ildə dərc edilmiş dissertasiya işi ilə başladı; onun müəllifi Behnam Montazeri indi Google-da mühəndis kimi işləyir. Ousterhout IETF standartlaşdırma sənədini hazırlayır və Homa-nı Linux nüvəsinə əlavə etmə üzərində işləyir; martda protokol Red Hat Enterprise Linux-un 8 və 9.5 versiyalarına köçürüldü.

Ousterhout-a görə, Homa-nı şəbəkəyə əlavə etmək asandır: kodu GitHub-dan qurmaq və modulu yenidən yükləmədən müştərilərin və serverlərin Linux nüvələrinə quraq. „Homa TCP yanında işləyir, buna görə tətbiqetmələr tədricən TCP-dən Homa-ya keçə bilər“, — yazır o. Homa-nın işə salınması qalan TCP tətbiqetmələrini də sürətləndirir; hazırda Ousterhout böyük bir maliyyə şirkəti ilə prototip üzərində işləyir.

Şübhələr və alternativlər

Bu baxışı hər kəs bölüşmür: tanınmış şəbəkə memarı Ivan Pepelnjak 2023-cü ildə sərt mövqeli bir iş dərc etmişdir, orada Ousterhout-un TCP-nin işi barədə qiymətlərini şübhə altına alır və Homa-nı „problem axtaran həll“ kimi təsvir edir.

TCP-nin məhdudiyyətlərini başqaları da yoxlayır: verilənlər bazaları bunun üçün DPDK-dən istifadə edir, saxlama şəbəkələri NVMe over Fabrics-ə keçiblər, Google isə QUIC (HTTP/3 əsası) yaratdı. RDMA şəbəkələri və AWS-in Scalable Reliable Datagram-ı öz həllərini təklif edir; hal-hazırda TCP yenə liderdir.