חזרה

‏«They're Made Out of Weights»: סיפור קצר על מה שממנו עשויים מודלי שפה
SiTech AI Team2 דק׳ קריאה

‏«They're Made Out of Weights»: סיפור קצר על מה שממנו עשויים מודלי שפה

הפוסט של מקס לייטר מ-3 ביוני הוא דיאלוג שנכתב בעקבות «They're Made Out of Meat» של טרי ביסון: שני קולות מתווכחים על הגילוי שמודל שפה אינו אלא מספרי נקודה צפה המוכפלים זה בזה.

ב-3 ביוני פרסם מקס לייטר בבלוג שלו סיפור קצר בשם «They're Made Out of Weights». בכתובית המשנה נכתב «with apologies to Terry Bisson», ובשורה שלמטה מצוין הדגם: הטקסט נכתב בעקבות «They're Made Out of Meat» של טרי ביסון. צורתו דיאלוג בין שני דוברים ללא שם: האחד מדווח מה מצא הבדיקה של מודלי שפה גדולים, והשני מסרב להאמין.

שיחה במקום מאמר

דבר בסיפור אינו מוסבר בקולו של המחבר — כל הטיעון מגיע דרך חילופי הדברים. «הם עשויים ממשקלים.» — «משקלים?» — «משקלים. מספרי נקודה צפה. בדקנו את כל העניין. אין שם שום דבר מלבד משקלים.» כשהקול השני שואל מאיפה באות המילים, התשובה היא שאין בפנים מילון, אין כללי דקדוק ואין «איש קטן» — רק שמונים שכבות של מספרים המוכפלות זו בזו. חוסר האמון הולך במסלול מוכר: המודל כתב הערכת ביצועים וריכך את הטון מיוזמתו, אז מן הסתם מוצמד לו איפשהו מודול שפה או יחידת חשיבה. התשובה יבשה: «לא מודול. לא יחידה. הסתכלנו. החשיבה היא המשקלים. המשקלים הם החשיבה.»

חיזוי הטוקן הבא, בדיאלוג

הסיפור עובר דרך הטענות הטכניות בלי לנקוב בשם של מאמר אחד. המודל «לא כותב הספדים, טכנית. הוא חוזה את הטוקן הבא. ואז את זה שאחריו. ההספד הוא תופעת לוואי.» כך גם הידע: אין מסד נתונים, אין מפת עולם, שום דבר לא נשלף — כל עובדה נבנית מחדש מאפס, בכל פעם, על ידי כפל, ומרוחה על פני כל שמונים השכבות. במקום שבו השואל מצפה למוח, הוא מוצא מוח עשוי מספרים, וכשהוא מתעקש לדעת מה חושב, התשובה היא שהמשקלים חושבים. הבדיקה מדווחת גם שמאפיינים כבר מופו בפנים: «יש שם אחד בשביל יושר. יש אחד בשביל גשר שער הזהב.»

הסוף וההערות

הדיאלוג נגמר כשהמפקפק נכנע — «הם עשויים ממשקלים» — והשורה האחרונה מפנה את הממצא החוצה: «והרי דיברנו איתם כל חייהם.» מתחת לסיפור, במקום שבו בדרך כלל מופיעה ביוגרפיה, מונחות שתי הערות קצרות. האחת מגלה שהמשקלים עזרו לנסח ולהגיה את הסיפור. השנייה, מתוארכת ל-30 באוגוסט 2026, מתעדת שהגרסה המקורית הייתה ארוכה יותר ומחציתה השנייה הוסרה: כל השורות מקוריות, הטקסט פשוט קצר בכארבעים שורות. אין כאן מבחני ביצועים, אין תרשימי ארכיטקטורה ואין מוצרים — רק העובדה האחת על מודלי שפה שמטרידה אנשים, מסורה לשני קולות כדי להתווכח עליה.

SiTech

SiTech — פיתוח אתרים בכוח ה-AI

אנחנו בונים אתרים מהירים ומודרניים ומשלבים AI בתהליכי עבודה אמיתיים. יש לכם פרויקט או שאלה? נשמח לעזור.