דוח התקרית של GitHub: מדיניות Istio שהוגדרה שגוי וסערת ניסיונות חוזרים מאחורי השבתה של 7 שעות ו-47 דקות

‏GitHub פרסמה דוח על התקרית שפגעה בפלטפורמה ב-17 באוגוסט 2026. השיבוש החל ב-13:28 UTC, נמשך 7 שעות ו-47 דקות, והסתיים לחלוטין ב-21:15 UTC.

מה קרה

העדכון הפומבי הראשון פורסם ב-13:40 UTC, ובה נמסר כי החברה בודקת דיווחים על פגיעה בביצועים של כמה שירותים. ב-13:45 דווח על שיעור שגיאות של כ-20% ב-Pull Requests, ב-Issues ובשירותים נוספים, ועדכונים מאוחרים יותר ציינו פגיעה בבקשות API, ב-Actions, ב-Webhooks וב-Pages. בשיא הגיע שיעור השגיאות בתעבורת ווב ו-API לכ-20%, ובמורידי ארכיונים ותוכן גולמי של מאגרים — לכ-50%. נפגעו גם אימות SAML ו-OIDC, ‏SCIM ו-Team Sync, וכן תהליכי Actions ב-GitHub Enterprise Cloud עם Data Residency שתלויים בהגדרות צעדים ציבוריות המתארחות ב-GitHub.com.

רוב השירותים התאוששו עד 16:36 UTC, עם התאוששות מרכז הנתונים Central US. ‏Actions נותר פגום עד כ-18:03 UTC, ושירות האסימונים Copilot Token Service התאושש לחלוטין עד 21:02 UTC.

סיבת השורש: הצפת מאזני העומס וסערת ניסיונות חוזרים

לפי GitHub, הסיבה הישירה הייתה רוויה ברשת של מאזני העומס במרכז הנתונים Central US בעקבות שיא תעבורה חדש. תוסף sidecar של Istio הגיע למגבלות המקביליות שלו ולא הצליח להתרחב אוטומטית כראוי, משום שמדיניות הוגדרה לעקוב אחר מגבלות שירות המארח אך לא אחר מגבלות ה-sidecar. הכשל התפשט בשרשרת עד שארבעה צומתי HAProxy מיצו את מגבלות הזרימה שלהם, פגעו בנתיב האימות בשער וגרמו לעיכובים ולכשלים נרחבים באימות. לוגיקת ניסיונות חוזרים אופטימית החריפה את המצב כשהעמיסה על מאזני העומס הפנימיים; השהיית HAProxy באותם צמתים הניבה התאוששות מיידית ורחבה.

בעיה שנייה נוספה לראשונה: תגובות מאוחרות מנקודת קצה פנימית אחת הפעילו באג ניסיונות חוזרים סמוי ב-VS Code, שהגביר את התעבורה פי עשרה בערך. בקשות ל-Copilot Token Service עלו מכ-7–9 אלף בשנייה ל-70–100 אלף בשנייה. ‏GitHub עצרה את הסערה על ידי צמצום זמני של לוגיקת הניסיונות החוזרים בשער וחסימת בקשות אסימון נכנסות ל-Copilot במאזני העומס בתגובת 403, ואחר כך החזירה את התעבורה בהדרגה אתר אחר אתר. התקפות גרידה על נקודות הקצה של codeload הקשו עוד יותר על ההתאוששות.

מה GitHub מתכננת לשנות

הדוח מפרט חמישה צעדי המשך: תיקון מדיניות ההתרחבות האוטומטית כך שתתחשב במקביליות ובקיבולת של sidecar ברשת השירותים; ביקורת של מגבלות הבקשות, המקביליות וההתרחבות של Istio בשירותים שנפגעו; בחינה מחדש של מגבלות הניסיונות החוזרים והנסיגה בשערים ובלקוחות; טיפול בהתנהגות הניסיונות החוזרים של VS Code שהגבירה את תעבורת אסימוני Copilot; ושיפור הניטור של קיבולת מאזני העומס יחד עם אמצעי מעבר בין אזורים.