Хакери отруюють відповіді ChatGPT і Gemini, підсовуючи фальшиві номери підтримки

Дослідники з кібербезпеки з'ясували, що атакувальники отруюють відповіді ChatGPT, Gemini і Google AI Overview фальшивими контактами, скеровуючи користувачів на шахрайські номери та фішингові сторінки. Результати опублікував Аріель Саймон на Medium — це перша частина серії про дезінформацію в ШІ.

Що виявили дослідники

Аріель Саймон і четверо колег створили систему, яка аналізує відповіді всіх трьох ШІ-систем разом із джерелами. Вона фіксує випадки, коли цитується фальшивий номер телефону, URL або електронна адреса. Перевірка компаній з Fortune 100, банків і авіакомпаній виявила кампанії проти 374 компаній — серед них Delta, Lufthansa, Emirates, Bank of America, Chase, Airbnb і TripAdvisor. Ішлося про десятки тисяч шкідливих сторінок. У публікації наведено й дослідження Exploding Topics: 92% користувачів не перевіряють відповіді ШІ.

Як працюють атаки

Матеріали побудовані на GEO (Generative Engine Optimization) — практиці, яка змушує мовну модель цитувати їх. Фальшивий номер повторюється, додаються блоки «питання — відповідь» і фрази «телефонуйте зараз» чи «24/7». Цифри також пишуть із пробілами, крапками, емодзі та символами Unicode: спам-фільтри не розпізнають номер, а модель після токенізації читає його однаково.

Той самий текст копіюють у соцмережі, у PDF на сайтах університетів і на Google Sites. Контент розрахований на паніку — повернення коштів, скасовані рейси, заблоковані акаунти, — щоб користувач телефонував негайно, а не перевіряв офіційний сайт.

Видалення не встигає

Кампанії автоматизовані: сотні постів на день для однієї компанії, тисячі сторінок щодня. Видалення однієї сторінки займає години чи дні, тоді як з'являються тисяча нових, а копії на archive.org залишаються в індексі. Пости на LeetCode проти American Airlines зайняли понад 10 сторінок результатів Google за 24 години.

Реакція компаній і розробників

Про атаки дослідники повідомили компаніям через канали bug bounty та безпеки. Більшість не усвідомлювала масштабу, а деякі вважали проблему поза своєю відповідальністю. Google відніс питання поза свою програму винагород за вразливості. OpenAI закрив звіт як такий, що не відтворюється, вимагаючи доведеного впливу на користувачів. Дослідники наполягають: такі кампанії коштують компаніям доходів і довіри.