OpenAI, Google, Microsoft та Anthropic підтримують новий сигнал відмови від скрапінгу ШІ

OpenAI, Google, Microsoft та Anthropic кажуть, що приймуть новий стандарт, який видавці можуть використовувати для відмови від скрапінгу ШІ. Завдяки цьому контролю видавці можуть застосовувати свої вподобання щодо тренування ШІ для кількох компаній ШІ замість того, щоб задавати їх окремо для кожної. Спільний сигнал запропонував Kevin Kelley, технічний керівник зі стандартів у Anthropic, як частину Internet Engineering Task Force.

Як працює сигнал

Сигнал буде розміщено у файлі robots.txt вебсайту, який давно вказує, які вебкраулери можуть і не можуть скрапити сайт для індексування пошуку, архівування або тренування ШІ. Нині сайти мають окремо повідомляти свої вподобання щодо тренування ШІ кожній компанії ШІ. Компанії кажуть, що обмежать доступ своїх ШІ-краулерів до сайту, якщо зустрінуть спільний токен.

Плани компаній і засоби контролю

Anthropic уже прийняла цей сигнал, тоді як Google і Microsoft планують підтримати його наступного року. OpenAI каже, що впровадить його в найближчі місяці. Microsoft каже, що запропонує детальні засоби контролю, які дозволять видавцям відмовитися від тренування ШІ або прив'язування ШІ до джерела (grounding), що він описує як наведення моделі ШІ на перевірене джерело інформації для зменшення галюцинацій. Microsoft зазначає, що вебсайти все одно з'являтимуться в результатах пошуку Bing незалежно від їхніх вподобань. Google раніше впровадив подібні засоби контролю, які дозволяють сайтам визначати, чи з'являється їхній вміст у функціях пошуку ШІ або використовується для тренування ШІ, не впливаючи на видимість у пошуку.

Підтримка та інші ініціативи

Керівник з комунікацій Meta Andy Stone також сигналізував підтримку нового налаштування, але не сказав, чи виконуватиме його компанія. Stone сказав, що створення спільного сигналу, який передає такі вподобання кільком постачальникам одночасно, є важливим кроком, і що Meta з нетерпінням чекає співпраці з іншими компаніями ШІ щодо стандартів та їх впровадження в усій галузі. Оголошення з'являється тоді, коли видавці стикаються з постійним напливом ШІ-краулерів, які скраплять їхні сайти й подають їхній вміст у моделі ШІ. Деякі компанії та організації намагалися боротися з несанкціонованим скрапінгом: стандарт Really Simple Licensing дає видавцям змогу стягувати плату з краулерів, які відвідують їхні сайти, а Cloudflare за замовчуванням блокує ШІ-краулери.

Джерела: The Verge · Techmeme