Cloudflare הוסיף ניטור מתמשך של אמון ב-Verified bot-ים

מאימות חד-פעמי לניטור מתמשך

Cloudflare הציגה מערכת שמעריכה האם Verified bot-ים ממשיכים להתנהג באחריותיות לאחר שהזהות שלהם אומתה. החברה משווה את זהות ה-bot לתעודת ניהול: האימות קובע מי מנהל את ה-bot, והאמון תלוי במה שהוא עושה אחר כך. גם bot מאומת עשוי להתעלם מהעדפות האתר, להעמיס שרתי origin או לנסות לעקוף בקרה, לרוב בשל תצורה שגויה ולא בגלל כוונה זדונית.

כדי להפוך ל-Verified Bot ב-Cloudflare, מפעילים חייבים לעמוד בשלושה קריטריונים: להציג את עצמם במדויק ובבטחה, לעשות רק את מה שהם מצהירים שיעשו ולהימנע מהתנהגות מנצלת. Bot-ים משתמשים ב-Web Bot Auth לחתימת הבקשות שמאשרות את זהותם, ו-BotBase מקטלג אותם בפורמט פתוח. לאחר הטיפול בזיהוי, לכאורה Cloudflare מעבירה את הדגש לכלל השני של bot-ים מאומתים: לא לגרום נזק.

טווחי אמון במקום הערכות חוזרות

המערכת מודדת עד כמה לעיתים קרובות crawler שומר על העדפות האתר וממירה את התצפיות הללו לטווח אמון מובן. זהו המשך שמציג עד כמה בעקביות bot שומר על העדפות ואילו התנהגויות נצפו והיו בסיס להערכה, ולא פסיקה קבועה על bot או מפעילו.

Cloudflare מפרידה בין סיכון לאמון: סיכון מתאר הסתברות שבקשה מסוימת עשויה להיות מזיקה ועשויה להשתנות מרגע לרגע, ואמון נבנה לאורך זמן בהתנהגות חוזרת ועקבית. החברה הביאה את מקרה הסרת ה-bot של Perplexity מרשימת ה-Verified bot-ים בשנת 2025, אחרי שהוא ניסה לגשת למשאבים באתרים שדחו scraping, ולאחר מכן ניסה לעקוף את עמוד הבקרה כשהבקשות נחסמו.

הגנה על robots.txt ותגובה להגבלת בקשות

האותות הראשונים שהמערכת מעריכה הם האם bot שומר על הוראות והאם הוא מגיב למשוב ישיר. קובץ robots.txt הוא הדרך העיקרית של אתרים להעביר העדפות, והמערכת בודקת האם התנועה הנצפית לאורך זמן תואמת את ההעדפות המפורסמות הללו, בהתאם ל-RFC 9309. Cloudflare מציינת ש-robots.txt קובע מינימום כללים למה ש-bot-ים לא אמורים לעשות, ושהיעדר הצהרה לא אומר הרשאה. החברה מחפשת דפוסים חוזרים של התעלמות ולא הפרות מבודדות.

המערכת גם עוקבת אחרי האך bot-ים מגיבים לתגובות HTTP 429, שמצוות על מבקרים להפחית את תדירות הבקשות. אחרי קבלת אות זה, האטה עקבית או השהיה מגדילה את האמון, בעוד התעללות חוזרת בו מורידה את הסטטוס של ה-bot.

תוכניות נגישות

המערכת עובדת מול Bot Preference Sync, שעוזר לבעלי אתרים לפרסם העדפות, ומול Bot Management, שמאפשר לבעלים להחליט כיצד לעבד תנועה אוטומטית. Cloudflare כבר משתמשת במערכת פנימית להערכה עד כמה בעקביות Verified bot-ים שומרים על העדפות האתר, ולהערכת דפוסים יציבים ולא מקרים מבודדים. החברה מתכננת להפוך אותה לזמינה לכל לקוחות Cloudflare, שיוכלו לבחור סף אמון שיחליט כיצד יעובדו תנועות Verified bot-ים. ציוני אמון צפויים להתפרסם בפומבי ב-Radar בעתיד.

מקורות: Cloudflare