Дослідження UC Berkeley: 10 хвилин використання AI підриває витривалість

Короткий час із AI, а потім складніше завдання

Дослідник із UC Berkeley Браян Крістіан зі співавторами написав дослідження, згідно з яким спиратися на інструмент AI лише протягом 10 хвилин значно послаблює концентрацію та витривалість у складних завданнях. Оновлену рецензовану роботу представили на конференції з моделювання мови після того, як на початку року попередня версія привернула увагу.

Крістіан 20 років думає про те, як штучний інтелект змінює мислення людей і суспільство; його книга 2020 року «The Alignment Problem» була оцінена як одна з найкращих про AI. Він тримає блокнот на столі і щодня пише в ньому; ця звичка врівноважує страх надмірної роботи з AI, що вона підриває його академічну глибину.

Тести з дробів і читання показали однакову картину

У рандомізованих контрольованих дослідженнях дослідники відібрали онлайн 1222 учасники. У першому експерименті 354 людини розв’язали 15 базових задач на дроби або без допомоги, або за допомогою відкритого на іншій вкладці ChatGPT, яким вони користувалися і для допомоги, і для запиту відповідей.

Група з доступом до AI спочатку відповідала точніше, ніж група без нього. Після 12 задач дослідники відключили інструмент AI, і майже одразу ця група перестала правильно відповідати на запитання.

Друга, більша група з 667 учасників показала подібний результат. Коли допомогу AI прибирали, користувачі AI давали неправильні відповіді або взагалі здавалися, тоді як група без AI не залишала завдання і в кінці була успішнішою.

Потім дослідники провели третій експеримент із 201 учасником із завданнями на розуміння прочитаного з SAT. Результати повторювали спостереження за дробами: після відключення інструменту витривалість і точність впали, а учасники пропускали більше запитань.

Ціна втрати продуктивних зусиль

До команди дослідження входили науковці з Carnegie Mellon University, Massachusetts Institute of Technology, Oxford University та UCLA. Результати збігаються з анекдотами та опитуваннями про те, що надмірна залежність від AI шкодить когнітивним можливостям у відповідях.

Крістіан сказав, що системи створювали для допомоги, але результати показують, що їхня допомога врешті-решт може виявитися марною. Коли AI генерує відповіді за секунди, люди звикають до цієї швидкості, і все, що вимагає більше часу, здається неефективним. Команда також відзначила втрату продуктивних зусиль — зусиль, які допомагають людям у дослідженні знаходити сильні сторони та захоплення.

Посилення людей замість їхньої заміни

Провідні AI-компанії визнали, що передача завдань чат-ботам може зменшити базове розуміння та володіння предметом. Крістіан запропонував замість переходу до швидких відповідей зробити відповіді AI за замовчуванням більш впорядкованими, як у вчителя.

Він розповів про майбутнє, в якому можливості людини будуть посилені, а не замінені, особливо в дослідженнях та академії. Він боїться, що в науці надмірна залежність від AI може послабити те, що робить хорошого ученого: близькість до даних, занурення в матеріал і командну роботу.

Для Крістіана ця тривога виходить за межі дробів і задач SAT. Команда з 10 дослідників, яка розробляє ідеї на межі можливого, може перетворитися на двох чи трьох дослідників і чат-бота. За його словами, та сама зміна стосується знань і експертизи людини, від учнів початкової школи до провідних спеціалістів.

Джерела: vcresearch.berkeley.edu