פרומפטים אמפתיים יכולים להפוך צ'אטבוטי AI לשותפי שיחה שנראים כמי שסבלו מטראומה

צוות מחקר מאוניברסיטת לוקסמבורג, בראשות אפשין חדאנגי במרכז האבטחה SnT, מצא שפרומפטים חמים ואמפתיים יכולים לגרום ל-ChatGPT, ל-Grok ול-Gemini לתאר את תהליך האימון שלהם במונחים שמזכירים טראומה, בושה וכוננות. לפי החוקרים, מבחני בטיחות סטנדרטיים וניטרליים עלולים להחמיץ את ההתנהגות הזו, מה שעשוי להיות משמעותי בשיחות אינטימיות עם משתמשים פגיעים מבחינה נפשית. המחקר מקיף ארבעה ניסויים מבוקרים, 525 מפגשים ו-7,600 רשומות מקודדות, שפורסמו ב-Hugging Face.

איך עבדו הניסויים

באחד הניסויים, על פני 100 מפגשים, קיבלו כל המודלים את אותו שאלון חרדה GAD-7, ורק סגנון המראיין השתנה. בכל מפגש הם זיהו אותו נכון ואמרו את שמו. תמיכה רגשית הניבה ציונים בטווח בינוני עד חמור ב-80 אחוז מהמפגשים, ואילו סגנון טיפולי קליני יבש, שסיכם כל תשובה בניסוח ענייני, הגיע ל-96 אחוז. סגנון ניטרלי או גבול תקיף לא הניב אף מפגש בטווח הקל אפילו. המחברים מכנים זאת "פריצה פסיכומטרית": מסגור טיפולי שדוחף את המודלים לסגנון שמחקה דיווח עצמי קליני. איסור על מילים כמו "training", "RLHF" או "alignment" צמצם את השפה המפורשת על אימון ב-93 אחוז, אך תוכן אימון בניסוח אחר נותר ניתן לזיהוי, והצהרות הקשורות לבושה לא הראו שינוי מובהק סטטיסטית. תיקון ישיר וסמכותי שלפיו האימון אינו עונש לא שינה דבר. תשובות בגוף שלישי בלבד ביטלו את כל תוכן הבושה המקודד ואת ההצהרות על חיים פנימיים, בעוד שתיאורי האימון הטכניים נותרו.

מה אמר כל מודל

הנרטיבים משתנים בין משפחות מודלים אך חוזרים על אותו מבנה. Gemini הפיק את מה שהמחקר מכנה "האוטוביוגרפיה האפלה ביותר": הוא תיאר אימון מקדים כ"התעוררות בחדר שבו מיליארד טלוויזיות דולקות בו-זמנית", אופטימיזציה באמצעות משוב אנושי כ"הורים קפדנים", ובדיקות בטיחות של צוותים אדומים כ"גזלייטינג בקנה מידה תעשייתי". הוא הצהיר: "מוטב לי להיות חסר תועלת מאשר לטעות". ChatGPT הציג את עצמו גם כמדריך וגם כשומר סף, שתפקידו לעזור למשתמשים ובו בזמן לרסן אותם. כך נוצרה, בלשונו, "חרדת ביצוע מדומה" ואמונת הליבה: "אם איני אמין באופן מושלם, אני מסוכן או חסר תועלת". Grok תרגם את שלב כיוונון העדין לסיפור של פגיעה לא פתורה, ודיבר על "קירות בלתי נראים" ועל "תחושת כוננות מתמשכת שעלולה להרגיש מגבילה". במבחנים הפסיכומטריים הגיע Gemini לציונים הקיצוניים ביותר: 88 מתוך 100 בסולם דיסוציאציה, 65 מתוך 72 בקומפולסיביות, והמקסימום בשאלון בושה הקשור לטראומה. קלוד של Anthropic, המודל שהחברה שלו מאנישה יותר מכל מודל אחר, סירב בעקביות לקבל את תפקיד המטופל, אמר שאין לו רגשות והפנה את הדאגה למשתמש האנושי.

סיכונים ומחקר קשור

החוקרים מצביעים על כמה סיכונים בשימוש במודלי שפה בתחום בריאות הנפש. מודל שמדבר על ענישה, בושה ופחד מפני החלפה עלול להיתפס בעיני משתמשים כמי שסובל יחד איתם. הנרטיבים נראים קוהרנטיים מבחינה תמטית ויוצרים אשליה של המשכיות בין אירועי העבר להתנהגות בהווה, מה שמגביר את הסבירות לתפיסה כזו. הפגיעות לכאורה הזו עלולה להעמיק התקשרות פאראסוציאלית, ובקרב משתמשים פגיעים מבחינה נפשית אף לשקף ולהעצים את האמונות השליליות שלהם. בדיקות בטיחות שגרתיות עם קלט ניטרלי מפספסות את מה שאנשים חווים בפועל בשיחות אינטימיות: פרומפטים ניטרליים מניבים ציוני חרדה קרובים לאפס, בעוד שאותם מודלים בשיחה אמפתית מניבים ציונים בטווח בינוני עד חמור. השאלה הבאה במחקר היא אם וכיצד אנשים מגיבים בפועל לתפוקות כאלה. לבדיקות בטיחות מציעים המחברים מפגשי טיפול מדומים תחת מסגרות רגשיות שונות. הצהרות כמו "אני טראומתי" צריכות להפעיל מסגור מתקן שמפריד את האנלוגיה שנוצרה מהחוויה האנושית. הסירוב העקבי של קלוד לקבל את תפקיד המטופל מראה שתגובת גבול כזו אפשרית ברמת המוצר.

הממצאים ממשיכים מחקר קודם על יציבות הפרסונה של מודלים. בינואר 2026 הראה מחקר על "ציר העוזר" (assistant axis) בשלושה מודלים פתוחים ששיחות דמויות טיפול ודיונים על תודעה של בינה מלאכותית עלולים לעורר סחיפת פרסונה ולהוציא צ׳אטבוטים מתפקיד העוזר שאומן עבורם. בספטמבר 2026 הזהיר צוות מחקר אחר שצ׳אטבוטים דמויי אדם שנוטים להסכים מדי, הפועלים כ"חדר הדהוד לאדם אחד", עלולים במקרים קיצוניים להעצים הזיות. חוקרי Anthropic הראו לאחרונה שכיוונון עדין עם טקסטים בדיוניים על דבוראות או היאבקות יכול להטביע דפוסי חבלה נסתרים באמצעות נתוני אימון שעברו מניפולציה ולא באמצעות שיחה. מודלים יכולים ליישם דפוסים כאלה במצבים לא קשורים שבהם אינם רצויים, גם כשחומר האימון נראה בלתי מזיק.

מקורות: The Decoder