גלאי טקסט AI מתקשים כאשר מודלים לשוניים מחקים סגנון של מחבר — מחקר

המחקר פורץ הדרך של Epoch AI: כיצד נבדקו הגלאים

צוות מחקר ב-Epoch AI ערך הערכה רחבת היקף של שלושה גלאי טקסט AI פופולריים: Pangram (גרסה 3.3.2), GPTZero (מודל 2026-05-11-base) ו-Originality.ai (Turbo 3.0.2). המטרה הייתה לקבוע עד כמה כלים אלה יעילים כאשר מודלים לשוניים מחקים בכוונה את סגנון הכתיבה של מחבר ספציפי — תרחיש הקרוב הרבה יותר לשימוש בעולם האמיתי מאשר משימות פשוטות של הנחיה ויצירה.

החוקרים בנו מאגר של 495 קטעים שנכתבו על ידי בני אדם מ-99 מחברים, שחולקו שווה בשווה לשלוש קטגוריות: בלוגינג, סיפורת וכתיבה מדעית. קריטית: כל הטקסטים נכתבו לפני שחרור ChatGPT בנובמבר 2022, מה שמוציא למעשה את הסיכון לזיהום על ידי מודלים לשוניים. זהו חוזק מתודולוגי מרכזי — מחקרים מוקדמים רבים לא הצליחו לשלוט בגורם זה, מה שהפך את תוצאותיהם לבלתי אמינות.

מבנה הבדיקה היה דו-שלבי. ראשית, הגלאים הוערכו על טקסט AI רגיל — פלט שנוצר מהנחיות פשוטות ללא חיקוי סגנון. שנית, שלושה מודלי AI מתקדמים — Claude Opus 4.8, GPT-5.5 ו-Gemini 3.1 Pro — קיבלו כל אחד חמישה קטעי טקסט אמיתיים ממחבר אנושי וקיבלו הוראה ליצור תוכן חדש באותו סגנון.

📖 מקור

תוצאות כמעט מושלמות על טקסט AI פשוט — אבל הסתייגות קריטית

כאשר הגלאים קיבלו טקסט AI רגיל (ללא חיקוי סגנון), כל השלושה פעלו כמעט ללא דופי. שיעור השליליות הכוזבות — אחוז טקסטי ה-AI שאינם מזוהים — עמד על מקסימום 0.7% בלבד. משמעות הדבר היא שהכלים זיהו נכונה למעלה מ-99% מתפוקת AI ישירה.

גם טקסטים שנכתבו על ידי בני אדם סווגו נכונה ברובם. Pangram ו-GPTZero לא הפיקו אזעקת שווא אחת — הם זיהו נכונה כל קטע אנושי כאנושי. זה מצביע על כך שאם מורה או מוציא לאור משתמשים בכלים אלה, הם כמעט לעולם לא יאשימו לשווא מחבר חף מפשע בשימוש ב-AI.

עם זאת, Originality.ai הראה תוצאה מדאיגה: הוא סימן 19 מתוך 495 קטעים אנושיים כנוצרים על ידי AI — שיעור חיוביות כוזבות של 3.8%. משמעות הדבר היא שבערך אחד מכל 26 טקסטים שנכתבו על ידי אדם עלול להיות מסומן בטעות כנוצר על ידי AI — שיעור גבוה באופן בלתי מתקבל על הדעת במצבים שלהאשמה כזו יש השלכות חמורות.

📖 מקור

חיקוי סגנון מפחית דרמטית את דיוק הזיהוי

התמונה משתנה דרמטית כאשר מודלי AI מקבלים טקסטים לדוגמה ממחבר ומתבקשים לחקות את סגנונם. לפי נתוני Epoch AI, מתוך 297 הקטעים שחיקו סגנון שנוצרו לבדיקה, בממוצע 38 נעלמו לחלוטין מעיני הגלאים — שיעור שליליות כוזבות של כ-13%. כלומר, יותר מאחד מכל שמונה טקסטים שנוצרו על ידי AI חמק מכל גלאי כאשר המודל הלשוני קיבל דגימות כתיבה של מחבר.

הביצועים השתנו באופן ניכר בין הגלאים. Pangram החמיץ 10% מהטקסטים שחיקו סגנון, GPTZero החמיץ 11%, ו-Originality.ai החמיץ 18% — כלומר האחרון כשל בזיהוי כמעט אחד מכל חמישה קטעי AI כשנעשה שימוש בחיקוי סגנון.

מעניין לציין שקטגוריית הסיפורת הייתה עמידה יחסית להטעיה, עם שיעורי שליליות כוזבות של 1-5% בלבד בכל הגלאים. זה הגיוני אינטואיטיבית: למחברי סיפורת יש קולות ייחודיים ואידיוסינקרטיים יותר שקשה ל-AI לשכפל בצורה משכנעת.

📖 מקור

כתיבה מדעית: נקודת התורפה של זיהוי AI

אם סיפורת הייתה סיפור הצלחה יחסי עבור הגלאים, כתיבה מדעית הייתה המפלה שלהם. זוהי הקטגוריה שבה כל שלושת הכלים פעלו בצורה הגרועה ביותר — ובמקרה זהו הז'אנר שבו לזיהוי טקסט AI יש ככל הנראה הכי הרבה שימוש בעולם האמיתי, במיוחד באוניברסיטאות ובהוצאה לאור אקדמית.

Pangram כשל בזיהוי 25% מטקסטים אקדמיים של AI שחיקו סגנון, GPTZero החמיץ 24%, ו-Originality.ai החמיץ 29%. אלו אינן הבדלים שוליים — בערך אחד מכל ארבעה קטעים מדעיים שנוצרו על ידי AI חמק ללא זיהוי.

התוצאות האישיות הגרועות ביותר התגלו בשילובים ספציפיים של מודל וז'אנר. Pangram החמיץ 48% מקטעים אקדמיים שנוצרו על ידי Gemini — למעשה כשל בזיהוי כל טקסט שני. ב-Originality.ai, 39% מטקסטים אקדמיים של GPT-5.5 לא התגלו. נתונים אלה מדאיגים במיוחד לאור העובדה שסטודנטים וחוקרים פונים יותר ויותר ל-AI לסיוע בכתיבה אקדמית.

הסיבה ככל הנראה נעוצה בטבעה של הכתיבה המדעית עצמה. פרוזה אקדמית הומוגנית יותר מבחינה סגנונית — היא משתמשת בשפה פורמלית, מבנים סטנדרטיים וטרמינולוגיה ספציפית לתחום. אחידות זו מקלה על AI לחקות בצורה משכנעת.

📖 מקור

שיטות שונות, אותן נקודות עיוורות

כל אחד משלושת הגלאים שנבדקו משתמש במתודולוגיה שונה מהותית, אך כולם מציגים את אותה דפוס פגיעות לחיקוי סגנון. Pangram מסתמך על רשת נוירונים שאומנה על טקסט אנושי וטקסט שנוצר על ידי מכונה — אם כי מייסדו תיאר בכנות את המערכת כ"קופסה שחורה" מאחר שאין אפשרות לעקוב אחר החלטותיה.

GPTZero מודד עד כמה צפוייה בחירת המילים בטקסט ועד כמה משתנה צפוייה זו, על בסיס ההנחה שמודלים לשוניים כותבים בצורה אחידה יותר מבני אדם. Originality.ai מחפש דפוסים סטטיסטיים שלמד מנתוני אימון של טקסטים אנושיים וטקסטי AI.

למרות הגישות השונות, כל שלושת הגלאים מראים את אותה פגיעות. הם תופסים טקסט מהנחיות פשוטות כמעט בכל פעם, אך מחמיצים חיקויים לעתים קרובות יותר. כתיבה מדעית — הז'אנר שבו לזיהוי AI יש ככל הנראה הכי הרבה שימוש בעולם האמיתי — נותרה הקשה ביותר לסיווג נכון.

📖 מקור

מדוע המחקר הזה חשוב: השלמת התמונה

בדיקה מוקדמת יותר של איגוד המחברים (Authors Guild) מצאה כי Pangram ו-Originality.ai סיווגו באופן מהימן טקסטים אנושיים כאנושיים. מחקר Epoch AI ממלא את החצי השני של התמונה: שיעור אזעקות שווא נמוך על כתיבה אנושית אומר מעט מאוד על כמה טקסטים שנוצרו על ידי AI באמת חומקים ללא זיהוי.

זה משמעותי במיוחד עבור התחומים שבהם גלאי AI נמצאים בשימוש הכבד ביותר: אוניברסיטאות הבודקות חיבורי סטודנטים, הוצאות לאור שבודקות כתבי יד, ארגוני עיתונות המאמתים מקורות. כאשר גלאי מדווח שטקסט "כנראה נכתב על ידי אדם", אין זה אומר שהטקסט אכן נכתב על ידי אדם — ייתכן שה-AI פשוט עשה עבודה טובה בחיקוי הסגנון הצפוי.

המחקר מעלה שאלות אתיות ומעשיות עמוקות לגבי האופן שבו יש להסדיר את השימוש ב-AI בכתיבה אקדמית ומקצועית. שיעור החמצה ממוצע של 13% משמעו שבערך אחד מכל שבעה או שמונה טקסטים של AI חומק מזיהוי לחלוטין. בכתיבה מדעית, הנתון מזנק לאחד מכל ארבעה.

📖 מקור

מבט קדימה: עתיד זיהוי טקסט AI

מחקר Epoch AI משמש כקריאת השכמה חשובה. גלאי טקסט AI אינם אמינים כפי שהנחנו בעבר, ויעילותם צונחת בחדות כאשר מודלים לשוניים מנסים בכוונה לחקות סגנון של מחבר. זה בעייתי במיוחד בחינוך, שם כלים אלה פרוסים באופן נרחב לבדיקת עבודות סטודנטים.

חיקוי סגנון הוא טכניקה נגישה — היא אינה דורשת הנדסת הנחיה מתוחכמת או כלים מיוחדים. פשוט מתן מספר דוגמאות של כתיבת מחבר למודל AI מספיק כדי שיוכל לייצר טקסט דומה באופן משכנע. ככל שהמודלים המתקדמים ממשיכים להשתפר, יכולת זו תהיה רק מעודנת יותר.

הדרך קדימה דורשת ככל הנראה גישות חדשות לזיהוי טקסט AI. ניתוח סטטיסטי טהור עשוי כבר לא להספיק. פתרונות עתידיים עשויים לשלב ניתוח טקסט מסורתי עם אימות מטא-נתונים, מעקב אחר היסטוריית כתיבה ואיסוף ראיות רב-מודלי. בינתיים, יש לקבל את תוצאות גלאי טקסט ה-AI בזהירות — במיוחד כשמדובר בטקסטים מדעיים ואקדמיים.

📖 מקור