Cloudflare представив Web Search API, за допомогою якого агенти шукають в інтернеті

Cloudflare представив Web Search API 2 жовтня. Новий сервіс надає AI-агентам можливість шукати актуальну інформацію в інтернеті та ґрунтувати відповіді на реальних даних. Продукт вийшов у рамках Birthday Week від Cloudflare, а першимими партнерами запуску є Ceramic.ai, Exa та Linkup.

Актуальна інформація з вебу

За заявою компанії, агент часто сам визначає адресу сторінки, а потім намагається її завантажити; якщо припущення невірне, повертається помилка 404. Web Search API саме й змінює цей підхід: агент надсилає звичайний пошуковий запит і натомість отримує структуровані фрагменти, отримані з вебу, які потрапляють безпосередньо в контекст моделі. Моделі працюють лише з даними, що існують на момент навчання, тому їм важко судити про останні події, мінливу документацію та швидко розвиваючіся новини; веб-пошук вирішує цю проблему.

Стандарт ботів і посилання на джерело

Партнери з пошуку погодилися дотримуватися стандартів ботів Cloudflare. Їхні боти повинні відповідати публічним вимогам Cloudflare для верифікованих ботів („Verified bots“), а у відповідях веб-пошуку має бути посилання на сторінку, звідки взято інформацію. За поясненням Cloudflare, правила дають власникам сайтів більше прозорості та контролю над використанням їхнього контенту: боти виявляють свою особистість, поважають robots.txt і показують джерело результатів пошуку.

Білінг, логи і доступ в AI Gateway

AI Gateway є головною точкою інтеграції нового продукту. Запити веб-пошуку відображаються в логах AI Gateway так само, як і інші AI-запити, і списують кредит AI Gateway; також регулюється, з яким провайдером матиме доступ користувач. Cloudflare позначає партнерів, які підтримують Zero Data Retention (ZDR), щоб користувач знав, що дані не зберігаються. Пошук доступний за публічними цінами партнерів, без додаткової маржі; працює й підхід із власним ключем (BYOK).

Шляхи інтеграції

Пошук з наявних серверів, мобільних додатків або зовнішніх сервісів можна здійснити стандартним REST-запитом: достатньо токена AI Gateway, запиту та бажаного провайдера. Для інтеграції у Cloudflare Workers потрібен лише один рядок коду. Компанія працює над серверними інструментами в AI Gateway, і веб-пошук стане одним із перших серед них; а до того часу розробники можуть використовувати веб-пошуковий інструмент самостійно. Спробувати сервіс можна в AI Playground, а інструкція з початку роботи — в документації для розробників.