Галюцинації AI: користувачі надто довіряють персоналу ChatGPT

The Verge 2 жовтня опублікував репортаж про те, як галюцинації AI змінюють сферу послуг. За словами працівників сервісу, користувачі сприймають відповіді ChatGPT як надійну інформацію та сперечаються з працівниками, навіть коли інформація хибна. За думкою видання, масове поширення генеративного AI змінює правило, що клієнт завжди правий.

Попередження про алергію та вигадані вина

Медісон (Madison), офіціантка ресторану в Нью-Йорку, питає про алергію за кожним столом. Клієнти з алергією на морепродукти востаннє замовили страву, бульйон якої готується з морепродуктів. Попри попередження, вони не звертають на них уваги: „У вас алергія на морепродукти, а ChatGPT каже, що в страві немає морепродуктів, а ми кажемо, що є!“

У італійському ресторані з рекомендацією Michelin гості питають про вина не у сомельє, а у ChatGPT. На пропозиції сомельє допомогти часто відповідають: „Я просто запитую у ChatGPT“. Деякі замовляють таке вино, якого не існує. Працівники м'яко повідомляють результат і кажуть, що список вин дуже специфічний, замість того щоб прямо сказати, що чатбот вигадав бренд.

Вигадані табори та графік сну

Проблема не обмежується ресторанами. Річковий рейнджер Джейсон (Jason) працює на федеральних землях і каже, що в парк частіше приходить відвідувачі з маршрутами, складеними AI, де табори вигадані, а локації розміщені неправильно. „Певна частина користувачів AI надто довіряє ChatGPT поруч із рейнджерами, мапами та друкованими гідами“, — каже він. Деякі групи не сумніваються навіть тоді, коли рейнджер вказує на помилку на мапі.

Кейсі (Casey), вчитель післяшкільної програми в Нью-Йорку, каже, що батьки частіше питають про питання розвитку дитини в ChatGPT або Claude. Одна сім'я дістала від ChatGPT режим сну, хоча дитина не спала достатньо; за оцінкою Кейсій, їй потрібно було на 2-3 години більше сну, а батьки стверджували, що графік ChatGPT правильний.

AI-агенти в запитах на бронювання

Лорен Уілфорд (Lauren Wilford) працює в харчовій сфері 15 років: за її словами, гості завантажують фото меню в ChatGPT або Claude і беруть рекомендації від чатбота замість офіціантки. Її ресторан також отримує запити на бронювання від AI-агентів. Уілфорд була здивована: клієнт, який зазвичай не вдавався в деталі, за день до заходу вимагав трибуни та AV-апаратуру, яких не має в ресторані в Провіденсі. Наступного дня клієнти прийшли і не згадали про вимоги; Уілфорд підозрює, що їх надіслав AI-агент.

Чому це важливо

Картина ширша: працівники кінотеатрів, бариста та Apple Store стикаються на клієнтів, які замовляють продукти, яких не існує, а на Reddit та X клієнти безумовно довіряють відповідям ChatGPT. За оцінкою видання, запуск нового AI-агента Meta, Muse, ще більше посилить проблему. Уілфорд ділиться причинами використання AI-агентів, хоча особливо цінує момент, коли двоє людей разом вирішують проблему.