Доступ до ШІ майже повністю відбиває в людей бажання сказати «не знаю» — дослідження

Новий препринт, опублікований на arXiv, показав, що самого лише доступу до порад штучного інтелекту (ШІ) достатньо, щоб майже повністю знищити готовність людей визнавати невпевненість. У п’яти експериментах узяли участь 3132 особи: вони відповідали на шість складних запитань і завжди могли відмовитися від відповіді. Дослідження ще не пройшло рецензування.

Запитання стосувалися дрібних візуальних деталей із фільмів, наприклад кольору форми однієї з команд у стрічці «Bend It Like Beckham». Дослідники підібрали їх так, щоб використана модель помилялася майже завжди: такі деталі рідко трапляються в текстах в інтернеті, тож є добрими цілями для галюцинацій. Це дало змогу відокремити користування ШІ від якості його порад.

«Не знаю» майже зникло

У першому експерименті учасники без ШІ утримувалися від відповіді в 36% випадків, а ті, хто міг звернутися до моделі, лише в 6%. Під час незалежної реплікації показники становили 44% і 3%. Загалом ті, хто працював сам, дали правильні відповіді в 27,5% випадків, а з доступом до ШІ лише в 9,2%. Водночас їхня впевненість майже подвоїлася. Співавтор дослідження Валеріо Капраро в інтерв’ю IBM Think сказав, що точність упала втричі, а впевненість зросла у 2,5 раза.

Гроші повертають частину обережності

У трьох експериментах правильні відповіді винагороджували грошима, неправильні карали, а за відмову не давали нічого. За таких умов учасники рідше шукали й використовували поради ШІ, відповідали точніше, а в двох експериментах помітно частіше утримувалися від відповіді. Утім, люди з доступом до ШІ все одно значно рідше казали «не знаю», ніж ті, хто працював без нього.

Чому це важливо

Причину ефекту автори не встановили. Одна з гіпотез: відповідь ШІ знижує метакогнітивний поріг, тобто рівень упевненості, потрібний людині, щоб дати відповідь. Ефект зберігався навіть тоді, коли порада з’являлася автоматично, без запиту. Це важливо в часи, коли пошукові системи, помічники для письма й автодоповнення підсовують підказки самі. Капраро наголошує: «Сумнів не є поразкою знання. Часто саме з нього знання починається». Автори застерігають, що запитання були невідомі, ставки низькі, а модель навмисно слабка, тож за інших умов результати можуть відрізнятися.