Hetzner מתארת בפירוט את התפתחות מחסנית הרשת העננית שלה

מ-vServer ועד ענן

מוצר vServer של Hetzner, שיצא ב-2011, השתמש בגשרים מובנים של Linux ובנתיבים סטטיים עם חיבור דו-מחסנית ומהירות של עד 1 Gb/s בכל מארח; בסופו של דבר שירת כ-25 000 מופעים. העדכון שיצא בספטמבר 2015 עבר לתצורה מבוססת Ceph היפר-מאוגדת עם ניתוב דינמי של BGP, NAT ביחס 1:1 עבור IPv4 וקידומים מנותבים עבור IPv6. חיבורי המארחים עודכנו ב-2016 ל-2x 10 Gb/s, ועד 2018 תצורה זו הגיעה לכ-50 000 מופעים.

Open vSwitch תופס את המקום

ב-2018, עם השקת Hetzner Cloud, NAT הוסר לטובת ניתוב IPv4 ישיר. data plane מבוסס Open vSwitch הופיע ביולי 2019, יחד עם רשתות ענן פרטי הבנויות ב-VXLAN. הרשת הציבורית עברה ל-Open vSwitch בנובמבר 2020, מה שאפשר במרץ 2021 להפעיל חומות אש ענניות מצביות מבוססות flow של Open vSwitch ו-netfilter.

אורקסטרציה עצמאית עם Flusskrebs

במקום control plane הסטנדרטי של OVN, Hetzner בנתה אורקסטרטור עצמאי מבוסס Python בשם Flusskrebs. הוא משתמש ב-REST API כדי להתקין flow של Open vSwitch שנדרשים לכל VM או Load Balancer, כולל כללי firewall שהגדיר המשתמש, ופועל כשרת DHCP מרכזי עבור ממשקים פרטיים. בכל מארח פועלים גם udhcpd מקומי עבור ממשקים ציבוריים ושרת metadata בכתובת 169.254.169.254, בו משתמשים cloud-init וכלים אחרים.

ארכיטקטורה וצעדים הבאים

בכל מארח פועל גשר מרכזי של Open vSwitch שמחבר את כל השרתים; לכל שרת יש ממשק ציבורי אחד ועד שלושה ממשקים פרטיים. מארחים, ככלל, משתמשים ב-uplink מחובר ב-LACP של 10 Gb/s כפול, ומתבצע מעבר ל-uplink של BGP מנותב באופן מקומי. חומת האש המצבית משתמשת במעקב החיבורים של netfilter, וכלי ctcount הפנימי מגביל ל-80 000 חיבורים בו-זמניים בכל שרת. לפי Hetzner, המחסנית משרתת כעת יותר ממיליון שרתי ענן, אך הגיעה למגבלות הקנה מידה, ולכן מתבצעת עבודה על מורשת שנבנתה לחלוטין במשאבים עצמיים, שפרטיה יפורסמו במאמר הבא.

מקורות: hetzner.com