אפקט ה-LLMentalist: כך משחזרים צ'אטבוטים את הטריק של המדיום

במאמר שפורסם ב-softwarecrisis.dev טוען המפתח והסופר בלדור ביארנאסון כי תחושת התבונה שמשרים מודלים לשוניים גדולים מבוססי צ'אט (LLM) נובעת מאותו מנגנון פסיכולוגי שעומד ביסוד ה"קריאה הקרה" של מדיומים: תיקוף סובייקטיבי.

הטריק של המדיום בשישה שלבים

לדבריו, LLM הוא מודל מתמטי של טוקנים לשוניים: נותנים למכונה טקסט ומקבלים המשך סביר מבחינה מתמטית. זה אינו מסביר את התחושה שמשוחחים עם תודעה, ולכן ביארנאסון מחפש את האשליה אצל המשתמש ולא במודל. הוא מפרק הופעה של מדיום לשישה שלבים — קהל שבוחר את עצמו, תפאורה מוכנה, איתור ה"מטרה" הסבירה, בחינתה, לופ התיקוף הסובייקטיבי ולבסוף ה"וואו" — ומקביל כל אחד מהם לשימוש בצ'אטבוטים. ספקנים לגבי בינה מלאכותית ממעטים להשתמש בצ'אטבוטים; ההייפ והאזהרות על "ימים מוקדמים" מעצבים ציפיות; הפרומפט קובע את ההקשר; ומי שנשאר בשיחה הוא בדיוק מי שמוכן להאמין.

כללי סטטיסטית, אך משכנע

קריאה קרה מנצלת תכונה של הנפש: אמירה בעלת משמעות אישית נתפסת כמדויקת גם אם היא מתאימה כמעט לכולם. מדיומים משתמשים ב"אמירות תיקוף" — אמירות פורר (בארנום) כמו "אתה נוטה להיות קשה עם עצמך", שלילה נעלמת, תכסיס הקשת, ניחושים דמוגרפיים וסטטיסטיים. ביארנאסון טוען שתשובות הצ'אטבוט פועלות באותו אופן: הן נשמעות מותאמות למצב שלך, אך הן המשך סביר סטטיסטית לפרומפט, והמשתמש הוא זה שמאשר שהן "עליו".

RLHF וה"מנטליסט המכני"

המאמר מתמקד ב-RLHF — למידת חיזוק ממשוב אנושי, השיטה שבה חברות הופכות מודל גלם למוצר צ'אט. המדרגים הם בדרך כלל עובדים בשכר נמוך בלי זמן לבדוק עובדות, ומודל התגמול הוא בעצמו מודל לשוני, כך שהמשוב אינו יכול לתגמל עובדות — רק טון ומבנה של טקסט שדורג כמדויק. מסקנתו: RLHF הפך למעשה למערכת תגמול לייצור אמירות תיקוף — "מנטליסט מכני". הוא סבור שהאפקט מקרי ולא הונאה מכוונת, ומשווה את התעשייה למדיומים שקוראים קריאה קרה בלי לדעת. הוא ממליץ שלא לשלב LLM במוצרים ובתהליכים, בשל הזיות, סיכומים לא אמינים ובעיות אבטחה, ולהתייחס לצ'אטבוט משכנע כאל סשן משכנע — בסקרנות לגבי הטריק, לא באמונה בכוח.