Пілот Cloudflare та OpenAI додає сотні мільйонів нових сторінок до ChatGPT Search

Cloudflare та OpenAI оприлюднюють ранні результати пілоту з виявлення вмісту ШІ

Cloudflare та OpenAI у липні 2026 року розпочали дослідницький пілот, щоб з'ясувати, чи можна за допомогою мережевих сигналів Cloudflare покращити виявлення нового контенту для користувачів ChatGPT. Згідно з спільною заявою, пілот дозволив OpenAI додати до пошукового індексу раніше невідомі сторінки. Учасником була приблизно 1% мережі Cloudflare, і OpenAI за її допомогою знайшла та обробила сотні мільйонів нових вебсторінок.

Фільтрація шуму до чхрекі

Співпраця виявила практичні уроки про те, що робить сторінку гідною виявлення. Партнери помітили, як легко автоматизований трафік може зробити неіснуючу сторінку цікавою: боти запитують неіснуючі файли, сайти перенаправляже майже будь-яку адресу на головну сторінку, деякі адреси показують копії одного й того ж контенту. Розпізнавання цих шаблонів зменшує марну роботу — шум. Пілот також перевіряє сигнали для потенційно небезпечних сторінок, наприклад, для фальшивої форми входу на легітимному сайті. Лише позначення пошкодженої сторінки, а не всього домену, захищає людей і не штрафує власника.

Менше шуму, більш релевантні відповіді

Для власників вебсайтів сигнали зменшують трафік зі зайвим шумом. Фільтрація відсіює шум від неіснуючих або перенаправлених сторінок, а сигнали змін повідомляють, коли варто повторно відвідати сторінку. Партнери зазначають потребу в балансі: вихід нових сторінок може спочатку збільшити шум, поки вони не оцінені та проіндексовані, а мета — зберегти актуальність з меншою кількістю роботи. OpenAI незалежно оцінює та ранжує сторінки за релевантністю, а ChatGPT Search повертає посилання на джерела, щоб знайти оригінальний контент. Це допомагає OpenAI у зусиллях GPT-6 та Intelligent UI зробити ChatGPT більш візуальним та інтерактивним для шопінгу та навчання.

Контроль і наступні кроки

Cloudflare підкреслює, що вибір власників домену важливий: сигнал на сторінці не означає дозвіл на доступ. Дослідження використовує метадані Всесвітньої павутини для пошуку та виявлення, а не для надання контенту для навчання моделі. Власники сайтів можуть за допомогою AI Crawl Control від Cloudflare керувати тим, як системи ШІ отримують доступ до їхніх сайтів. На наступному етапі буде вдосконалено відбір сторінок, випробувані швидші та надійніші сигнали змін і виміряно, що відбувається після виявлення контенту, оскільки обидві компанії перетворюють краще виявлення на реальні бізнес-результати.

Джерела: Cloudflare