Stanford Profesörü TCP Yerine Yeni Protokol Homa'yı Öneriyor

İnternetin ve bulut hizmetlerinin üzerine kurulduğu protokol TCP, AI döneminin yüklemelerine hazır değil, diyor Stanford Üniversitesi emeritus profesörü John Ousterhout. Çözüm olarak yeni bir protokol olan Homa'yı önerdi ve yaygınlaştırılmasını kendi "yaşam görevi" olarak görüyor.

"TCP, tüm güvenilirliğine rağmen, merkezi olmayan sistemler için uygun değil," dedi Ousterhout AI Engineer World's Fair'de.

TCP Neden Yetersiz Kalıyor

TCP ağ trafiğini düzenlemek için oluşturuldu: akış kontrolü, teslimat garantisi ve tıkanıklık yönetimi vardır. Ancak veri modeli bayt akışıdır: mesajlar önceliksiz gönderilir ve alıcı uzun iletimi kısa iletimden ayırt edemez. Gönderen ise onaylara dayanarak akışı ne kadar yavaşlatması gerektiğini tahmin etmek zorundadır.

Normal internet trafiği için bu kabul edilebilir, gecikmeye duyarlı AI yüklemeleri için değil: laboratuvarlar pahalı GPU'lar arasında model ağırlıklarını, KV önbelleğini ve kontrol noktalarını taşır ve bant genişliğini ajanlar ve kontrol görevlerinin kısa patlamalarıyla paylaşır. "Bu yüklemeler için asıl sorun gecikmedir," dedi Ousterhout; bir bile milisaniye pahalı bir GPU'yı boşuna bekletir.

Homa Nasıl Çalışır

Homa akış yerine mesajlara dayanır: RPC gibi, mesaj uzunluğu tam olarak belirlidir. TCP'den farklı olarak, tıkanıklığı alıcı yönetir: ilk paketten itibaren ne kadar veri geleceğini tahmin eder, gönderim sırasını kendisi belirler ve SRPT algoritmasıyla kısa mesajlara öncelik verir.

Sonuç olarak, kısa mesaj gecikmesinin 99. yüzdelik dilimi Homa'da 92 mikrosaniye, TCP'de ise 1,2 milisaniye, yani 13 kat daha az (100 Gb/sn ağında, %80 yük altında). Uzun mesajlarda da Homa yaklaşık iki kat daha hızlı.

Standartlaştırma ve Uygulama

Homa üzerinde çalışma, 2019'da yayınlanan tez çalışmasıyla başladı; yazarı Behnam Montazeri, şu anda Google'da mühendis olarak çalışıyor. Ousterhout, IETF standartlaştırma belgesi hazırlıyor ve Homa'nın Linux çekirdeğine eklenmesi üzerinde çalışıyor; Mart ayında protokol Red Hat Enterprise Linux 8 ve 9.5 sürümlerine taşındı.

Ousterhout'a göre, Homa'yı ağa eklemek basittir: koddan GitHub'dan derlenmesi ve modülün tıkanıklık olmadan hem istemcilerin hem de sunucuların Linux çekirdeklerine kurulması gerekir. "Homa TCP ile yan yana çalışır, böylece uygulamalar kademeli olarak TCP'den Homa'ya taşınabilir," diyor. Homa'nın devreye alınması kalan TCP uygulamalarını da hızlandırır; şu anda Ousterhout büyük bir finans şirketi ile prototip üzerinde çalışıyor.

Şüpheler ve Alternatifler

Herkes bu görüşü paylaşmıyor: ünlü ağ mimarı Ivan Pepelnjak 2023'te sert bir duruş sergileyen bir çalışma yayınladı; burada Ousterhout'un TCP performansına ilişkin değerlendirmelerini sorguluyor ve Homa'yı "problem arayan bir çözüm" olarak nitelendiriyor.

TCP'nin sınırlamalarını başka yollarla da aşıyorlar: veritabanları bunun için DPDK kullanıyor, depolama ağları NVMe over Fabrics'e geçti, Google ise QUIC'i (HTTP/3'ün temeli) oluşturdu. RDMA ağları ve AWS'in Scalable Reliable Datagram'ı kendi çözümlerini sunuyor; şimdilik TCP hâlâ lider.