Cloudflare ו-OpenAI מוסיפים מיליוני דפים חדשים ל-ChatGPT Search

Cloudflare ו-OpenAI מפרסמים תוצאות מוקדמות מפיילוט גילוי AI

Cloudflare ו-OpenAI השיקו ביולי 2026 פיילוט מחקרי כדי לבדוק אם אותות הרשת של Cloudflare יכולים לשפר את גילוי תוכן חדש עבור משתמשי ChatGPT. לפי ההצהרה המשותפת, הפיילוט הוסיף לאינדקס החיפוש של OpenAI דפים שלא היו מוכרים עד כה. הקבוצה שנבחרה הייתה כ-1% מרשת Cloudflare, ו-OpenAI מצאה ועיבדה בעזרתה מיליוני אתרי אינטרנט חדשים.

סינון רעש עד זיהוי

השיתוף חשף לקחים מעשיים לגבי מה הופך דפים לנגלים באופן בר תועלת. השותפים ציינו כמה בקלות תנועה אוטומטית יכולה לגרום לדפים לא קיימים להיראות מעניינים: בוטים מבקשים קבצים לא קיימים, אתרים מפנים כמעט כל כתובת לדף הבית, וחלק מהכתובות מגישות עותקים של אותו תוכן. זיהוי תבניות אלו מפחית את העבודה עד זיהוי. הפיילוט בודק גם אותות עבור דפים שעשויים להיות מסוכנים, למשל טפסי התחברות מזויפים באתרים לגיטימיים. סימון הדף הפגוע בלבד, ולא כל הדומיין, מגן על משתמשים ולא נוקם את הבעלים.

פחות רעש, תשובות מתאימות יותר

עבור בעלי אתרים, האותות מפחיתים תנועת זיהוי מיותרת. הסינון מסיר דפים לא קיימים או מופנים, ואותות שינוי מציינים מתי דפים ראויים לסריקה חוזרת. השותפים מציינים את הצורך באיזון: מציאת דפים חדשים עשויה להגדיל בהתחלה את הסריקה לפני שהם יוערכו ויתועדו; המטרה היא לשמור על רלוונטיות עם פחות עבודה. OpenAI מעריכה ומדרגה דפים בעצמה לפי רלוונטיות, ו-ChatGPT Search מחזיר קישורים למקורות כדי שניתן יהיה למצוא את התוכן המקורי. זה עוזר למאמצי GPT-6 ו-Intelligent UI של OpenAI להפוך את ChatGPT לויזואלי ואינטראקטיבי יותר עבור קניות ולמידה.

בקרה וצעדים הבאים

Cloudflare מדגישה כי בחירת בעלי הדומיינים חשובה: אות בדף לא משמעו הרשאת גישה. המחקר משתמש במטה-נתוני האינטרנט לחיפוש וגילוי, ולא לשיתוף תוכן לאימון מודלים. בעלי אתרים יכולים להשתמש ב-AI Crawl Control של Cloudflare כדי לנהל כיצד מערכות AI ניגשות לאתריהם. השלב הבא ישפר את בחירת הדפים, יבחן אותות שינוי מהירים ואמינים יותר, וימודד מה קורה אחרי גילוי התוכן, שכן שתי החברות הופכות גילוי טוב יותר לתוצאות עסקיות אמיתיות.

מקורות: Cloudflare