האקרים מרעילים את תשובות ChatGPT ו-Gemini בפרטי קשר מזויפים
חוקרי אבטחה מתארים קמפיינים מתוכנתים שמרעילים את תשובות הבינה המלאכותית של 374 חברות: ChatGPT, Gemini ו-Google AI Overview מציגים מספרי תמיכה מזויפים ועמודי פישינג כמידע מהימן, בעוד רוב המשתמשים אינם מאמתים את התשובות.
חוקרי אבטחת סייבר גילו שתוקפים מרעילים את התשובות של ChatGPT, Gemini ו-Google AI Overview בפרטי קשר מזויפים, ומובילים משתמשים למספרי הונאה ולעמודי פישינג. את הממצאים פרסם Ariel Simon ב-Medium, כחלק ראשון מסדרה על דיסאינפורמציה בבינה מלאכותית.
מה מצאו החוקרים
Ariel Simon וארבעה עמיתים בנו מערכת שמנתחת את תשובות שלוש מערכות הבינה המלאכותית ואת המקורות שמאחוריהן, ומסמנת מקרים שבהם מצוטט פרט כוזב — מספר טלפון, כתובת אתר או דוא"ל. בסריקה של חברות מ-Fortune 100, בנקים, חברות תעופה וחברות תוכנה זוהתה פעילות נגד 374 חברות, ובהן Delta, Lufthansa, Emirates ו-Qatar Airways, הבנקים Bank of America, Wells Fargo, Chase ו-Citi ופלטפורמות הנסיעות Airbnb ו-TripAdvisor. בסך הכול זוהו עשרות אלפי עמודים זדוניים. בפוסט מצוטט גם מחקר של Exploding Topics: 92% מהמשתמשים אינם מאמתים תשובות בינה מלאכותית.
איך פועלות התקיפות
התוכן נבנה בשיטות GEO (Generative Engine Optimization) — עיצוב תוכן כך שמודל שפה יצטט אותו. הפוסטים חוזרים על המספר המזויף ומוסיפים ביטויים כמו "התקשרו עכשיו" ו-"24/7". התוקפים כותבים ספרות גם עם רווחים, נקודות, אימוג'ים ותווי Unicode: מסנני ספאם אינם מזהים את המספר, בעוד המודל קורא אותו כאותו ערך לאחר טוקניזציה.
אותו טקסט מועתק לרשתות חברתיות ולפורומים, לקובצי PDF באתרי אוניברסיטאות ולפלטפורמות כמו Google Sites ו-GitHub Pages. תוכן שמכוון לרגעי לחץ — החזרי כספים, טיסות שבוטלו, חשבונות נעולים — דוחף משתמשים להתקשר מהר במקום לבדוק באתר הרשמי.
הסרה לא עומדת בקצב
הקמפיינים אוטומטיים: מאות פוסטים ביום בכל פלטפורמה לכל חברה — אלפי עמודים מדי יום. הסרת עמוד אחד אורכת שעות או ימים, ובזמן הזה נוצרים אלף חדשים, ועותקים בשירותים כמו archive.org נשארים באינדקס. פוסטים ב-LeetCode נגד American Airlines תפסו יותר מ-10 עמודים בתוצאות Google בתוך 24 שעות.
תגובת החברות והספקיות
החוקרים דיווחו לחברות דרך ערוצי bug bounty, מניעת הונאות ואבטחה. לפי הפוסט, רובן לא היו מודעות להיקף, וחלקן דחו את הנושא. Google סיווגה את המקרה כמחוץ לתוכנית הפרסים לפגיעויות. OpenAI סגרה את הדיווח בטענה שלא ניתן לשחזר אותו, בדרישה לפגיעה ממשית במשתמשים ולא לתקיפה תיאורטית. לדברי החוקרים, קמפיינים כאלה עולים לחברות בהכנסות, באמון ובהוצאות משפטיות.
SiTech — פיתוח אתרים בכוח ה-AI
אנחנו בונים אתרים מהירים ומודרניים ומשלבים AI בתהליכי עבודה אמיתיים. יש לכם פרויקט או שאלה? נשמח לעזור.