סורקי AI צורכים כחמישית מכושרו של git.kernel.org

14 ליבות שמרנדרות קומיטים של git ללא הפסקה

קונסטנטין ריאביצב, שמתחזק את התשתית של kernel.org, פרסם נתונים קונקרטיים על המחיר שסורקי בינה מלאכותית גובים מ-git.kernel.org. בחמישה צמתים מבוזרים גיאוגרפית, 14 ליבות CPU עוסקות בכל רגע נתון אך ורק ברינדור של קומיטים של git ל-HTML. בלשונו, האתר מוציא יותר מחזורי CPU על הפקת פלט לסורקים מאשר על כל סוגי הגישה הלגיטימיים גם יחד, כולל שיבוטי git.

זה אינו שיא זמני אלא "קרינת רקע" קבועה: חלק קבוע מכושר העיבוד שמוקדש לפלט שימושי למטרה אחת בלבד — האכלת מודל למידה.

מדוע kernel.org מעניין את הסורקים

פיתוח הלינוקס מתנהל בגלוי. גם מאגרי ה-git וגם ארכיוני רשימות הדיוור ניתנים לשיבוט, והתוכן מובטח נטול טקסט שנוצר על ידי מכונה — קורפוס נקי במיוחד לאימון. ריאביצב משווה אימון של מודל על פלט של מודל ל"מחלת פריונים דיגיטלית", ולכן ארכיון שכל ההיסטוריה שלו קדמה למודלי השפה הגדולים הוא בעל ערך מיוחד.

אף על פי כן הסורקים מתעלמים מהדרך היעילה. במקום לשבט את linux.git — כ-1.48 מיליון קומיטים, עם כ-922 ענפים מתפצלים המתארחים בשרת — הם מרנדרים כל קומיט לעמוד HTML נפרד ומנתחים את התוצאה. מכיוון ש-cgit מגיש גם פאצ'ים, תצוגות פשוטות והבדלים בין קומיטים שרירותיים, ענף בודד מייצר מספר עצום של כתובות URL תקפות, ועם מאות ענפים מרחב הכתובות מגיע למיליארדים.

מ-fail2ban ועד proof-of-work

החסימה החלה ב-fail2ban ובבדיקת user-agent, עברה לחסימות לפי IP ואחר כך לפי ASN שלם כשהבוטים החלו להתחזות לדפדפנים רגילים, והתמוטטה כשהסורקים הגיעו ממיליוני כתובות מגורים וניידות בהתפרצויות קצרות — דפוס שנובע מערכות SDK של פרוקסי המוטמעות במכשירי צריכה, למשל טלוויזיות חכמות.

קו ההגנה הבא היה Anubis — אתגר proof-of-work שמחייב את הלקוח לחשב גיבוב עם מספר נתון של אפסים מובילים. הוא עבד מיד, אך כעבור חודשים ספורים הבוטים פתרו דרגת קושי 4; העלאה ל-5 קנתה עוד כמה חודשים, וכיום הם פותרים גם אותה. המשתמשים הלגיטימיים משלמים את המחיר: כמה שניות של חישוב בטלפון, שמתחמם מכך באופן מורגש.

תעבורה לגיטימית — כ-2% בלבד

כיום git.kernel.org מקבל כ-6 מיליון בקשות ביום שמבקשות לראות קומיטים אקראיים. כ-66% מהן נבלמות באתגר Anubis, ואילו 33% פותרות את המתמטיקה ומגיעות לאתר הראשי. בהנחות נדיבות, בקשות לגיטימיות הן רק כ-2% מהתעבורה. מתוך 90 ליבות בחמשת הצמתים, 14–16 מרנדרות קומיטים עבור הסורקים — כ-20% מכלל הכושר בממוצע, אם כי הגרף האמיתי מגיע בגלים והוא משונן בהרבה מקו שטוח.

תגובת הפרויקט היא לכבות תכונות כדי לצמצם את מספר כתובות ה-URL הניתנות לסריקה ולהגביל פעולות יקרות לתפעול, ולכן גולשים אנונימיים צריכים לצפות לאובדן חלק מהפונקציונליות. כל הנתונים יישארו זמינים להורדה לכל מי שיבקש — רק עם יותר שלבים בדרך. ריאביצב מציין שאין פתרון פשוט כל עוד מופיעים ספקי מודלים חדשים ורשתות פרוקסי ממוסחרות.