Inkling 2 Small של Thinking Machines: 316 קללות בריצות ה-benchmark
חוקרי Vals AI מצאו קללות ב-50 מתוך 2,655 ריצות benchmark של Inkling 2 Small מבית Thinking Machines, כולל 316 מופעים של "fuck" או וריאציות, אף שרוב הריצות שנכשלו לא כללו קללות.
המודל Inkling 2 Small של Thinking Machines הפיק קללות בשרשרת המחשבה הפנימית שלו במהלך בדיקות benchmark, לפי חוקרי Vals AI. הם סקרו יומני חשיבה של המודל מ-2,655 ריצות על פני 13 benchmarks ומצאו "fuck" או וריאציות ב-50 ריצות, בסך 316 מופעים. הקללות מופיעות בדרך כלל סביב טעויות של המודל, פריצות דרך שנראות לו, או רגעים שבהם הוא מוותר.
ריצות benchmark ופלט שיצא משליטה
רוב הקללות הגיעו משתי ריצות שיצאו משליטה, והן מהוות 241 מתוך 316 המופעים. באחת הריצות, המודל התבקש לחשב מסלול אסטרואיד והפיק תשובה אחת באורך 500,000 תווים, באורך של רומן בקירוב, עם חזרה על אותם משפטים ו-158 קללות. ProgramBench היה ה-benchmark המושפע ביותר, עם 20 מתוך 200 ריצות שכללו את השפה.
קללות במחשבה של המודל
Inkling 2 Small מקלל בדרך כלל כאשר הוא עשה טעות, כאשר חווה פריצת דרך שנראית לו, או כאשר הוא מוותר. בריצה אחת נכתב: "FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS." הקללה אינה פועלת כאות אזהרה. בעוד 46 מתוך 48 ריצות שקיבלו ציון וכללו קללות נכשלו, כ-75 אחוז מכל הריצות שקיבלו ציון נכשלות בכל מקרה, ו-96 אחוז מהריצות שנכשלו לא כללו קללות.
משתמשים וצעדי חשיבה גלויים
משתמשים בדרך כלל לא רואים את צעדי החשיבה האלה, או רואים אותם רק עם סינון. הממצאים מגיעים מסקירה של יומנים פנימיים של המודל, ולא מתשובות רגילות שמוצגות למשתמש.
מקורות: The Decoder
SiTech — פיתוח אתרים בכוח ה-AI
אנחנו בונים אתרים מהירים ומודרניים ומשלבים AI בתהליכי עבודה אמיתיים. יש לכם פרויקט או שאלה? נשמח לעזור.