Hack'ler ChatGPT ve Gemini yanıtlarını sahte destek numaralarıyla zehirliyor

Güvenlik araştırmacıları, saldırganların ChatGPT, Gemini ve Google AI Overview yanıtlarını sahte iletişim bilgileriyle zehirleyerek kullanıcıları dolandırıcılık numaralarına ve kimlik avı sayfalarına yönlendirdiğini tespit etti. Bulgular, Ariel Simon tarafından Medium'da yapay zeka dezenformasyonu üzerine bir dizinin ilk bölümü olarak yayımlandı.

Araştırmacılar ne buldu

Ariel Simon ve dört meslektaşı, üç yapay zeka sisteminin yanıtlarını ve kaynaklarını analiz eden bir tespit sistemi kurdu. Sistem, sahte numara, adres ya da e-postaların alıntılandığı olayları işaretliyor. Fortune 100 şirketleri, bankalar ve havayolları üzerinde yapılan taramada 374 şirkete yönelik kampanya saptandı; bunlar arasında Delta, Lufthansa, Emirates, Bank of America, Chase, Airbnb ve TripAdvisor yer alıyor. On binlerce kötü niyetli sayfa bulundu. Yazıda aktarılan Exploding Topics araştırmasına göre kullanıcıların %92'si yapay zeka yanıtlarını doğrulamıyor.

Saldırılar nasıl işliyor

İçerikler, bir dil modelinin alıntılaması için tasarlanan GEO (Generative Engine Optimization) yöntemiyle hazırlanıyor. Gönderiler sahte numarayı tekrarlıyor ve "hemen arayın" ya da "7/24" gibi ifadeler ekliyor. Rakamlar boşluk, nokta, emoji ve Unicode karakterlerle de yazılıyor: spam filtreleri numarayı tanımıyor, model ise aynı değeri okuyor.

Aynı metin sosyal ağlara, üniversite sitelerindeki PDF'lere ve Google Sites gibi platformlara kopyalanıyor. İçerik panik anlarını hedefliyor — para iadeleri, iptal edilen uçuşlar, kilitlenen hesaplar — ki kullanıcı resmi siteyi kontrol etmek yerine hemen arasın.

Kaldırma çabaları yetişemiyor

Kampanyalar otomatik: her şirket için günde yüzlerce gönderi, günlük binlerce sayfa. Bir sayfanın kaldırılması saatler ya da günler sürerken binlerce yenisi oluşuyor ve archive.org'daki kopyalar dizinde kalıyor. American Airlines'ı hedefleyen LeetCode gönderileri 24 saat içinde Google sonuçlarında 10 sayfadan fazlasını kapladı.

Şirketlerin ve sağlayıcıların yanıtı

Araştırmacılar saldırıları şirketlere bug bounty ve güvenlik kanallarından bildirdi. Çoğu şirket ölçekten habersizdi, bir kısmı konuyu kapsam dışı buldu. Google, olayı güvenlik açığı ödül programının dışında saydı. OpenAI ise raporu yeniden üretilemediği gerekçesiyle kapattı ve teorik saldırı yerine kanıtlanmış etki istedi. Araştırmacılara göre kampanyalar şirketlere gelir, marka güveni ve hukuki maliyet kaybı yaşatıyor.