Ստենֆորդի պրոֆեսորը Homa նոր պրոտոկոլը առաջարկում է TCP-ի փոխարեն

TCP-ը՝ այն պրոտոկոլը, որի վրայով հիմնված են ինտերնետը և ամպային ծառայությունները, վատ է համապատասխանում AI դարաշրջանի բեռնմանը, սահմանում է Ստենֆորդի համալսարանի պատվավոր պրոֆեսոր Ջոն Օուսթերհաուտը: Լուծում նա առաջարկել է նոր պրոտոկոլը՝ Homa-ն և դրա տարածումը այժմ իր «կենսային առաքելության» է համարում:

«TCP-ը՝ իր բոլոր վստահելիությունների պատճառով, հարմար չէ դեցենտրալիզացման համար», ասաց Օուսթերհաուտը AI Engineer World's Fair-ում:

Ինչու է TCP-ն այլևս չհամապատասխանում

TCP-ը ստեղծվել է ցանցային երթևեկության կարգավորման համար: Այն ունի հոսքի վերահսկում, առաքման երաշխավորում և գերբեռնվածության կառավարում: Սակայն դրա տվյալների մոդելը բայթերի հոսք է: հաղորդագրությունները ուղարկվում են առանց առաջնահերթության, և ընդունիչը երկար փոխանցումը կարճի չի ընտրում: Ուղարկողը ստիպված է հիմնվել հաստատումների վրա՝ պարզելու, թե որքան է հնարավոր դանդաղեցնել հոսքը:

Սովորական ինտերնետ երթևեկության համար սա ընդունելի է, ուշացման զգայոն AI բեռնման համար՝ ոչ: Լաբորատորիաները թանկ GPU-ների միջև տեղափոխում են մոդելի կշիռները, KV քեշը և չեկպոինտները, իսկ թողունակությունը կիսվում է ագենտների և վերահսկման խնդիրների կարճ պանկերի միջև: «Այս բեռնումների համար հիմնական ուշացումն է», ասաց Օուսթերհաուտը: նույնիսկ մեկ միլիվայրկյանը թանկ GPU-ին դատարկ է թողնում:

Ինչպես է աշխատում Homa-ն

Homa-ն հոսքի փոխարեն հիմնված է հաղորդագրությունների վրա: ինչպես RPC-ն, հաղորդագրությունների երկարությունը ճշգրիտ սահմանված է: TCP-ից տարբեր, գերբեռնվածությունը վերահսկում է ընդունիչը: առաջին փաթեթից սկսած այն գուշակում է, թե քանի տվյալ է գալիս, ինքն է որոնում ուղարկման հերթականությունը և SRPT ալգորիթմով կարճ հաղորդագրություններին է տալիս առաջնահերթություն:

Արդյունքում՝ կարճ հաղորդագրությունների ուշացման 99-րդ տոկոսը Homa-ում 92 միկրովայրկյան է, TCP-ում՝ 1,2 միլիվայրկյան, այսինքն 13 անգամ պակաս (100 Գբիթ/վ ցանքում, 80% բեռնվածության դեպքում): Երկար հաղորդագրությունների համար Homa-ն մոտավորապես երկու անգամ արագ է:

Ստանդարտացում և ներդրում

Homa-ի վրային աշխատանքը սկսվել է 2019 թվականին հրապարակված դիսերտացիոն աշխատանքով: դրա հեղինակը՝ Բեհնամ Մոնթազերին, այժմ ինժեներ է աշխատում Google-ում: Օուսթերհաուտը պատրաստում է IETF-ի ստանդարտացման փաստաթուղթը և աշխատում է Homa-ի Linux-ի միջուկում ավելացնելու վրա: մարտին պրոտոկոլը տեղափոխվել է Red Hat Enterprise Linux-ի 8 և 9.5 տարբերակներ:

Օուսթերհաուտի խոսքով, Homa-ի ցանքում ավելացնելը պարզ է: կոդը պետք է կազմել GitHub-ից և մոդուլը տեղադրել հաճախորդների և սերվերների Linux միջուկներում՝ առանց գերբեռնվածության: «Homa-ն աշխատում է TCP-ի կողքին, ուստի հավելվածները ժամանակի ընթացքում կարող են տեղափոխվել TCP-ից Homa», գրում է նա: Homa-ի գործարկումը արագացնում է նաև մնացած TCP հավելվածները: այս պահին Օուսթերհաուտը աշխատում է մեկ մեծ ֆինանսական ընկերության հետ պրոտոտիպի վրա:

Կասկածներ և այլընտրանքներ

Ոչ բոլորը կիսում են այս տեսակետը: հայտնի ցանքային ճարտարապետ Իվան Պեպելնիակը 2023 թվականին հրապարակեց խիստ դիրքական աշխատանք, որտեղ կասկածի տակ է դնում Օուսթերհաուտի TCP-ի աշխատանքի վերաբերյալ գնահատականները և Homa-ն նկատում է որպես «խնդիր որոնող լուծում»:

TCP-ի սահմանափակումներից ուրիշները էլ խուսափում են: տվյալների բազաները դրա համար օգտագործում են DPDK-ն, պահեստավորման ցանքերը անցել են NVMe over Fabrics-ի, Google-ը ստեղծել է QUIC-ը (HTTP/3-ի հիմնասյունը): Սեփական լուծումներ են առաջարկում RDMA ցանքերը և AWS-ի Scalable Reliable Datagram-ը: դեռ մինչ այս պահին TCP-ն դեռ առաջատար է: