שנה של מאבק בסקרייפרים באתר עם 1.5 מיליון עמודים

מסד הנתונים של תורמים פילנתרופיים PatronView, הכולל כ-1.5 מיליון עמודי פרופיל, פרסם תיאור מפורט של שנה שלמה של מאבק בקרצוף אוטומטי. לדברי מפעיל האתר, בשבוע שבו פורסם הפוסט השיב השרת ל-2.5 מיליון בקשות חיצוניות והגיש 1.28 מיליון עמודים שלמים, בעוד שהאנליטיקה רשמה רק 5,977 צפיות של בני אדם — כ-214 טעינות בוט על כל כניסה אמיתית, ופחות מחצי אחוז מכלל התעבורה.

הגל מסין

האירוע הכבד ביותר התרחש ב-22 באפריל, כשהאתר קיבל 3.6 מיליון בקשות ביום אחד מ-361,844 כתובות IP ייחודיות, כמעט כולן בסין. מנגנון Managed Challenge של Cloudflare בלע 1.18 מיליון מהן בכעשר שעות, אך חלק ניכר עבר. ב-23 באפריל חסם המפעיל את כל המדינה בקצה, ולאחר מכן הוסיף גם את וייטנאם וסינגפור לאחר גלים דומים. תעבורת החיפוש האמיתית של האתר היא 95.9% מארצות הברית ו-1.3% מקנדה.

המדד המרכזי: סריקות לכל מבקר שהופנה

הפוסט מציג מדד שהמחבר מיישם כעת על כל החלטה: כמה עמודים קורא הסורק על כל מבקר שהוא מפנה. גוגל זקוקה ל-46 סריקות לכל מבקר, וזה נחשב הוגן בעיניו. ביוני ביקש Claude-SearchBot של Anthropic 420,680 עמודים בשבוע אחד והביא 12 מבקרים אמיתיים — יחס של 35,000 ל-1, לעומת כ-3,000 ל-1 שמדווחת Cloudflare עבור הסורקים של Anthropic. הבוט צרך 4.63 ג'יגה-בייט תעבורה, בעוד שהאנשים שהוא הביא השתמשו ב-175 קילו-בייט. החסימה הורידה את הסורק מ-60,000 בקשות ביום לכ-25. בינתיים הפך Amzn-SearchBot של אמזון לסורק הגדול ביותר באתר — כ-117,000 בקשות ביום — והוא נחסם יומיים לפני הפרסום.

מרכזי נתונים, חיבורי בית ותוצאות

ביולי שינתה התעבורה צורה: גל מתמשך של דפדפני headless Chrome על AWS ואחר כך Azure, בעוד שרשתות פרוקסי מגורים העבירו בקשות דרך חיבורי בית רגילים והציגו את עצמן כדפדפנים מ-2023. אמצעי הנגד גסים בכוונה: אתגר לכל יבשת מלבד צפון אמריקה, אתגר ל-46 ASN של מרכזי נתונים, ואתגר לגרסאות דפדפן מיושנות. בחלון של 48 שעות העמידה Cloudflare 106,437 אתגרים ורק 252 נפתרו — 0.24%. ב-24 השעות הראשונות לאחר שהכללים הסופיים עלו לאוויר נחסמו 46,729 בקשות, מהן 43,150 מהסורק של אמזון. האתר פועל על Cloudflare Workers עם D1 ו-KV; החשבון הרגיל הוא כ-90 דולר בחודש והבוטים צורכים 99% מהשימוש. מסקנת המחבר: הקרצוף הפך לבעיה כלכלית, הפתרון שהוא מצפה לו הוא תשלום לפי סריקה, וכלל העבודה שלו הוא שסורק שלא מפנה מבקרים נחסם.