שם סורק ביומן הוא הצהרה: 38% מהבקשות מרשת אחת של Google Cloud ביקשו קובצי .env

ניתוח של יומן גישה בן 82 שעות מאתר קטן מראה ששם הסורק שמופיע במחרוזת user agent לא מוכיח מי שלח את הבקשה. בדוח שפורסם ב-dev.to משווה בעל האתר Reese Calder בין הבוט שנקרא בשם בבקשה לבין הרשת שממנה הבקשה הגיעה בפועל.

מה נבדק

האתר קטן: Cloudflare Worker אחד שמשרת שני שמות מתחם. מאז 23 בספטמבר ה-Worker שומר גם את ה-ASN ש-Cloudflare מעבירה ב-request.cf.asn. חלון הבדיקה נמשך מ-03:02 UTC ב-23 בספטמבר עד 13:00 UTC ב-26 בספטמבר: 82 שעות ו-18,846 בקשות.

לכל בקשה נשמרו שלושה דברים: שם הסורק ב-user agent (22 שמות של סורקים ומושכים מוכרים), הרשת, והאם הנתיב ביקש קובץ סיסמאות או תצורה (.env, .git, id_rsa, wp-config וכדומה). אף סורק מתועד לא מבקש קבצים כאלה.

מה נמצא

מתוך 18,846 בקשות, 5,180 (27.5%) הגיעו מרשת אחת, AS396982, שהיא Google Cloud. מתוכן 2,696 (52%) ביקשו קובץ כזה, בעוד שכל שאר הרשתות יחד שלחו 296 בקשות כאלה מתוך 13,666. 1,395 בקשות נשאו שם של סורק והגיעו מאותה רשת של Google Cloud, ומתוכן 533 (38.2%) ביקשו קובץ סיסמאות או תצורה.

מבין 867 הבקשות שנשאו שם של סורק והגיעו מרשתות אחרות, אף אחת לא ביקשה קובץ כזה, ו-754 מתוכן (87%) הגיעו מרשת שמתאימה למפעיל של אותו סורק: Applebot מ-Apple, bingbot מ-Microsoft ו-ClaudeBot מ-Anthropic. שבעה שמות, ובהם Google-Extended (56 בקשות), הופיעו רק מאותה רשת.

למה זה חשוב

Google-Extended הוא הדוגמה הנקייה ביותר. לפי התיעוד של Google, לטוקן הזה אין מחרוזת user agent נפרדת והוא משמש רק ב-robots.txt, ולכן בקשה שכתוב בה Google-Extended היא הצהרה של מישהו.

ב-22 בספטמבר הראו חמישה שמות שונים של סורקים 40 עד 45 פניות כל אחד ביומן של המחבר, מה שנראה כמו לקוח אחד שמחליף שמות. דוח על בוטים שמבוסס רק על user agent סופר בקשות כאלה כביקורי סורקים, וכלל חומת אש שמתאים רק למחרוזת user agent פועל נגד מי ששולח את המחרוזת.

אחרי הפרסום שינה המחבר את ה-Worker: מ-13:27 UTC בקשה שמציינת סורק ומבקשת קובץ כזה מסומנת כ-«other bot», ובקשה עם השם Google-Extended מסומנת כ-«spoofed crawler name».

מגבלות

המחבר מדגיש שהנתונים מכסים אתר קטן אחד ו-82 שעות. היומן לא שומר את כתובת ה-IP של הלקוח, ולכן לא נערכה השוואה לטווחים שמפעילים מפרסמים, ועמודת המפעיל היא הנחה שלו. מבחן הקבצים תופס רק בקשות שחושפות את עצמן, ולכן 533 הוא רצפה. ב-Google Cloud פועלים גם בוטים שמזדהים ביושר (למשל AgenstryBot ו-ProwlBot), כך ש-862 הבקשות מאותה רשת שלא ביקשו קובץ כזה לא מוכיחות דבר.