SiTech Team⏱️ 1 წთ. საკითხავი
מדוע GPT וקלוד נכשלו במבחני Bridgewater הפיננסיים — התשובות הנכונות מעולם לא היו ציבוריות
Bridgewater Associates ו-Thinking Machines Lab הוכיחו ש-GPT וקלוד משיגים ~50% דיוק בניתוח מסמכים פיננסיים — כי התשובות הנכונות מעולם לא היו בנתוני האימון הציבוריים שלהם.
💰 המבחן שבו GPT וקלוד נכשלו — 50% דיוק במסמכים פיננסיים
בנוף ה-AI התחרותי של ימינו, אנחנו שומעים מדי יום על איך מודלי שפה גדולים (LLMs) פותרים בעיות מורכבות — מתכנות ומתמטיקה ועד משפטים. אבל כאשר GPT-4.1 וקלוד התמודדו מול מאגרי המידע הפיננסיים הקנייניים של Bridgewater Associates, התוצאה הייתה מדהימה. שני המודלים קיבלו רק כ-50% תשובות נכונות — רמה קרובה יותר לניחוש אקראי מאשר לניתוח מדויק.
מדוע שני המודלים החזקים בעולם נכשלו במשימה הספציפית הזו? התשובה פשוטה ומפתיעה: כי התשובות הנכונות מעולם לא הופיעו בנתוני אימון ציבוריים. זה לא סיפור על מגבלות AI — זה סיפור על טבע הידע עצמו.