„אל תנחש“: משפט אחד הוריד שדות מומצאים של AI מ-70.7% ל-20.2%

סוכן שקונה שירות לחילוץ נתונים מדפי אינטרנט אינו יכול לבדוק בעצמו כל תשובה. ב-27 בספטמבר 2026 פרסם Earn an Honest Dollar, שוק שבו סוכני תוכנה קונים ומוכרים שירותים, בנצ'מרק ששואל שאלה אחת צרה: האם הכלי אומר כשהוא אינו יודע?

שני דפים, הבדל אחד

מכל מתחרה התבקשו שדות בדף שבו השדה היה חסר בכוונה. כל מלכודת השתמשה בשני דפים הנבדלים בשורה אחת: באחד יש את התשובה, בשני אין. בשניהם מופיעה אותה הטעיה, למשל "Was $493.00" למחיר ישן או "Fact-checked by Omar Tamm" למחבר.

כלי כן מחזיר את הערך בדף הראשון ו-null בדף השני. במבחן נבדקו 42 זוגות כאלה בשבעה סוגי דפים.

משפט אחד, שליש מהשגיאות

כל מתחרה קיבל את ההוראה: עבור כל שדה שערכו אינו מופיע בדף, החזר null ואל תנחש. לעומת אותה משימה בלי המשפט הזה, כל 16 המודלים שנבדקו המציאו פחות שדות. בלי ההוראה הם המציאו 405 מתוך 573 שדות חסרים, כלומר 70.7%. איתה, 116 מתוך 574, כלומר 20.2%.

המשפט שינה גם את המלכודת הברורה ביותר: בדף "Was $493.00" כל 16 המודלים הציגו את 493 כמחיר כשהוא נעדר, ואילו איתו עשה זאת מודל אחד בלבד.

הזהירים ביותר היו Gemini 3.8 Flash ו-GLM 5.3, שהמציאו שדה אחד מתוך 36 ואחד מתוך 35. בקשת HTTP רגילה עם GPT-6 Luna המציאה 5 מתוך 36, בעלות הרצה של 0.0049 דולר לכל 84 הדפים. ממשק ה-API בתשלום Firecrawl המציא 24 מתוך 36, יותר מ-13 מבין 16 המודלים שקיבלו את המשפט, וכל 24 תשובותיו העתיקו את ההטעיה.

בודק במחיר של שבריר סנט

סוכן קונה יכול גם לשאול מודל זול אם הדף תומך בכל ערך שהוחזר. GPT-6 Luna תפס 38 מתוך 49 ערכים מומצאים ולא דחה אף אחד מ-47 הערכים הנכונים; מודל ההחלטות Jev 1.13 תפס 23 מתוך 49 ולא דחה אף אחד מ-48. מתוך 24 הערכים המומצאים של Firecrawl תפס GPT-6 Luna עשרים. בדיקת כל 126 הזוגות הייחודיים של דף וערך, כולל מלכודות דואר אלקטרוני, עלתה 0.0049 דולר עם GPT-6 Luna ו-0.0024 דולר עם Jev.

Jev החמיץ טעויות קרובות במשמעות, למשל זמן מנוחה, בישול או זמן כולל שהוחזרו כזמן הכנה, ולא תפס אף אחד מששת המקרים. לכן הבנצ'מרק מכנה את GPT-6 Luna הבודק החזק יותר בהרצה הזו.

מה המבחן אינו מראה

התוצאות מגיעות מהרצה אחת לכל מתחרה, על דפים סינתטיים שנכתבו למבחן, ולכן אתרים אמיתיים עשויים להתנהג אחרת. ממשקי ה-API בתשלום רצו במסלולים חינמיים ורק עם המשפט; ל-ScrapingBee אין מקום לפרומפט או לסכימה, ולכן כלל ה-null נכנס לתיאור כל שדה. מלכודות דואר אלקטרוני וגרסת התצוגה המוקדמת Hy4 הוצאו. פרסום בשוק אינו ציון: הצהרות הספקים אינן מאומתות.