חזרה

מודל פתוח של 27B כותב מחדש את משקלותיו ללא אימון, לפי מאמר
SiTech AI Team2 דק׳ קריאה

מודל פתוח של 27B כותב מחדש את משקלותיו ללא אימון, לפי מאמר

מאמר מקדים חדש ב-arXiv אומר שמודל שפה פתוח של 27B יכול לאבחן כשלים משלו ולשכתב את משקלותיו באמצעות חשיבה בלבד, ולהשתפר בבעיות שלא נראו ללא גרדיאנטים או אימון.

מאמר מקדים שפורסם ב-arXiv ב-16 בנובמבר 2026 מתאר שכתוב עצמי, שיטה שבה מודל שפה משתמש בהנמקה שלו כדי לשנות את משקלותיו ללא גרדיאנטים או אימון. המחברים מדווחים שמודל פתוח של 27B השתפר ב-6.6 נקודות בבעיות שלא נראו לאחר ששכתב את משקלותיו, ושהוא הצליח לתקן עותק פגום של עצמו. הם אומרים שהיכולת צמחה רק במודל הגדול ביותר במשפחה אחת.

שכתוב עצמי ללא אימון

המאמר אומר שמודל שפה מאומן בדרך כלל פעם אחת ואז קפוא. כדי לשפר אותו, מפתחים בדרך כלל מריצים אימון נוסף, מוסיפים הנחיות או מסגרות הרצה, או משקיעים חישוב נוסף בזמן ההסקה שנגמר עם סיום המשימה. המחברים מציעים שכתוב עצמי כאפשרות שלישית: המודל פועל כממטב של עצמו ומשכתב את משקלותיו באמצעות חשיבה בלבד. הם משווים זאת לעבודה קודמת שבה מודל חזית ערך מודל קטן בהרבה. במחקר הזה ניתן למודל פתוח של 27B המשקלות שלו, התשובות עם הציונים ויכולת להריץ את עצמו, והוא אבחן את הכשל שלו ושכתב את המשקלות שמאחוריו.

בדיקת עריכות ותיקון נזק

המחברים מדווחים שהמודל עקף את עצמו: העריכה שלו הפכה אותו למדויק ב-6.6 נקודות יותר בבעיות שלא ראה מעולם. הם גם אומרים שהוא ממשיך להשתפר על ידי בדיקת עריכות בבעיות תרגול והגשת רק אלה שפועלות, כאשר כל עריכה משפרת את הקודמת; במשך שמונה סשנים רצופים, הדיוק רק עלה. בבדיקה אחרת תיקן המודל עותק פגום של עצמו. העותק פתר כמעט כלום, אבל ללא אימון מחדש ובלי לקרוא את המשקלות המקוריות החזיר אותו המודל ליותר מ-80 אחוז מהדיוק המקורי במשימות תמונה שהוא לא ראה מעולם.

קנה מידה והשלכות עתידיות

היכולת נראית כמתעוררת עם קנה מידה. במשפחה אחת של מודלים, המודלים הקטנים לא ערכו כל שינוי או ששברו את עצמם, ורק הגדול ביותר השתפר ותיקן את עצמו. המחברים אומרים ששכתוב עצמי כותב את הרווח שלו למשקלות ללא עלות לכל תשובה, שלא כמו הרחבת החישוב בזמן הבדיקה, ומריץ רק מעברים קדימה, כפי שהגשה עושה, בניגוד לאימון. הם טוענים שהחומה בין האימון להסקה היא מגבלה של הכלים הנוכחיים ולא תכונה של אינטליגנציה, ושהשכתוב העצמי הוא צעד הכרחי בדרך לשיפור עצמי רקורסיבי. הם משערים שמודל יוכל לשדרג את עצמו כל חייו ללא מודל גדול יותר, ללא מסגרת הרצה או הנדסת הנחיות, וללא אימון מקדים או אימון המשך.

מקורות: arxiv.org

SiTech

SiTech — פיתוח אתרים בכוח ה-AI

אנחנו בונים אתרים מהירים ומודרניים ומשלבים AI בתהליכי עבודה אמיתיים. יש לכם פרויקט או שאלה? נשמח לעזור.