Hetzner-ը մանրամասն նկարագրեց իր ամպային ցանցի ստեկի էվոլյուսիան

vServer-ներից ամպային

Hetzner-ի vServer արտադրանքը, որը թողարկվեց 2011 թվականին, օգտագործում էր Linux-ի ներկառուցված կամուրջներ և ստատիկ երթուղիներ կրկնակի ստեկի կապով և յուրաքանչյուր հոսթում 1 Gb/s-ով սպասարկումով; ի վերջո, սպասարկում էր մոտ 25 000 նմուշին: 2015 թվականի սեպտեմբերի թարմացումը փոխեց հիպերկոնվերգիրված Ceph-ի վրա հիմնված կոնֆիգուրացիան՝ BGP-ի դինամիկ ռուտինգով, IPv4-ի 1:1 NAT-ով և IPv6-ի ռուտինգային նախածանցներով: Հոսթերի կապերը 2016 թվականին թարմացվեցին 2x 10 Gb/s, և մինչև 2018 թվականը այս կոնֆիգուրացիան հասավ մոտ 50 000 նմուշի:

Open vSwitch-ը զբաղեցնում է իր տեղը

2018 թվականին Hetzner Cloud-ի գործարկման ժամանակ NAT-ն հանվեց օգտագործման ենթարկվող ուղղակի IPv4 ռուտինգի արդյունավետության համար: Open vSwitch-ի վրա հիմնված data plane-ն հայտնվեց 2019 թվականի հուլիսին՝ մասնավոր ամպերի ցանցերի հետ, որոնք կառուցված էին VXLAN-ով: Հանրային ցանցը Open vSwitch տեղափոխվեց 2020 թվականի նոյեմբերին, ինչն էլ 2021 թվականի մարտին հնարավորություն տվեց միացնել Open vSwitch-ի flow-երի և netfilter-ի վրա հիմնված stateful ամպայի firewall-ները:

Սեփական օրկեստրացիա Flusskrebs-ով

Ստանդարտ OVN control plane-ի փոխարեն Hetzner-ը կառուցեց սեփական Python-ի վրա հիմնված օրկեստրատոր Flusskrebs: Անք REST API-ն օգտագործում է՝ տեղադրելու Open vSwitch-ի flow-երը, որոնք անհրաժեշտ են յուրաքանչյուր VM-ի կամ Load Balancer-ի համար, օգտատիրոջ կողմից սահմանված firewall-ի կանոններով, և աշխատում է որպես կենտրոնական DHCP սերվեր մասնավոր ինտերֆեյսների համար: Յուրաքանչյուր հոսթում նաև աշխատում է տեղական udhcpd հանրային ինտերֆեյսների համար և metadata սերվեր 169.254.169.254-ում, որը օգտագործում են cloud-init-ը և այլ գործիքներ:

Արխիտեկտուրա և հաջորդ քայլերը

Յուրաքանչյուր հոսթում աշխատում է կենտրոնական Open vSwitch-ի կամուրջը, որը միացնում է բոլոր սերվերները; յուրաքանչյուր սերվեր ունի մեկ հանրային և մինչև երեք մասնավոր ինտերֆեյս: Հոսթերը, որպես կանոն, օգտագործում են երկու 10 Gb/s LACP-ով կապված uplink, և տեղի է ունենում անցումը native routed BGP uplink-երի վրա: Stateful firewall-ն օգտագործում է netfilter-ի connection tracking-ը, իսկ ներքին ctcount գործիքը յուրաքանչյուր սերվերում սահմանափակում է 80 000 միաժամանակ կապի: Hetzner-ի տեղեկությամբ, ստեկն այժմ սպասարկում է միլիոնից ավելի ամպային սերվեր, բայց սահմաններ հասել է մասշտաբայնության, ինչի արդյունքում շարունակվում է աշխատանքը ամբողջությամբ սեփական ուժերով կառուցված մասշտաբայի համար, որի մանրամասները հրապարակվելու են հաջորդ հոդվածում:

Աղբյուրներ: hetzner.com