Microsoft Research: ניקוי היסטוריית הצ'אט עוזר לסוכני AI להתגבר על דרכי פתרון תקועות

מחקר חדש של Microsoft Research מראה שסוכני מחקר AI שפועלים במשך זמן רב עלולים להיתקע ברמות ביצוע שונות באופן משמעותי על אותן משימות, ושהסיבה לכך עשויה להיות היסטוריית השיחות המצטברת שלהם עצמם. החוקרים קבעו שהצטברות קונטקסט לוכדת את הסוכנים ב'בריכות רעיונות' משלהם, באזורים צרים של פתרונות דומים, ושניקוי היסטוריית הצ'אט עשוי להוביל לתוצאות טובות בהרבה.

סוכנים נתקעים בבריכות רעיונות

החוקרים חקרו "סוכני Autoresearch", מערכות AI שחוזרות על עצמן בהצעת פתרונות, הערכתם ושיפורם על בסיס משוב. שמונה הרצות עצמאיות של אותו סוכן על אותה משימה נתקעו ברמות שונות באופן משמעותי: הציונים הסופיים היו בין 68.3 ל-100.0, והשונות נשמרה גם במקרה של משאב חישובי גבוה בהרבה.

לאחר מיפוי פתרונות כל ההרצות על מפה רב-ממדית, שבה פתרונות דומים נמצאים קרוב אחד לשני, הצוות קבע שפתרונותיהם של הרצה אחת נשארו כמעט תמיד באזור קטן. לאחר מכן הסוכנים מבזבזים חלק גדול מתקציב החישוב שנותר על שיפור פתרונות באזור פחות פרודוקטיבי, במקום לחפש גישות טובות יותר שנמצאו בהרצות אחרות. דפוס זה נשמר גם כאשר הסוכנים מצטמצמים מדי פעם את היסטוריות השיחות.

Fork-and-Flush מנקה קונטקסט

השיטה המוצעת מאגדת שני מנגנונים. בזמן "forking", הסוכן מתפצל ל-K ענפים מקבילים, שכל אחד מהם יורש את סביבת העבודה הקודמת ואת כל הקבצים שנוצרו. בזמן "flushing", כל ענף מאבד את כל הקונטקסט של הצ'אט, אך שומר את סביבת העבודה, מה שמאפשר להתחיל שיחה חדשה ולהסתמך על העבודה הקודמת.

ענף ששומר את הקונטקסט של הצ'אט של התהליך האב חוזר בדרך כלל לאותה בריכת רעיונות, מכיוון שההיגיון הקודם מכוון את הצעדים הבאים שלו. קונטקסט חדש מחזיר גיוון בחיפוש. היסטוריית השיחה אבודה, אך הקוד, הקבצים והתוצאות השמורות נשארים בסביבת העבודה.

תוצאות על 13 משימות ארוכות

Fork-and-Flush נבחן על 13 משימות ארוכות, בין היתר: אריזת פוליאומינו, תכנון job-shop, אנליזה קריפטוגרפית, כיווץ מסווג CIFAR ואופטימיזציה של ליבת VLIW. הרצות בודדות נמשכו מכמה שעות ועד מעל 100 שעות, והסוכנים השתמשו ב-GPT-5.6-terra וב-GPT-5.5 באמצעות GitHub Copilot CLI.

בתנאי תקציב חישוב זהים, Fork-and-Flush השיג ציון ממוצע מנורמל min-max של 0.78, לעומת 0.47 של הרצות בודדות ו-0.54 של best-of-4, מה שהוא גידול יחסי של 66.0% ו-44.4%. השיטה הציגה ציון ממוצע גבוה יותר ב-12 מתוך 13 משימות וסיפקה תוצאות יציבות יותר: סטיית התקן המנורמלת ירדה מ-0.26 של הרצות בודדות ל-0.16. ניקוי פשוט של הקונטקסט של הצ'אט, ללא פיצול, שיפר תוצאות בכ-22% ב-11 משימות.

מדוע נילוי הקונטקסט עשוי עדיין להיות מועיל

החוקרים בדקו גם האם מודלים חזקים יותר נמלטים מבריכות רעיונות, תוך שימוש בבעיות MAX-3-SAT על מודל בשלושה גדלים: Qwen3.5-4B, 9B ו-27B. השונות בין הרצות התפרסה כמו מעקל בצורת U הפוכה והגיעה לשיא במשימות שנמצאות על גבול יכולת המודל, בערך באמצע בין זיהוי אקראי לבין ביצוע פוטנציאלי מקסימלי. המודלים מצליחים כמעט תמיד במשימות מאוד פשוטות ונכשלים במשימות מאוד קשות.

המחברים טוענים שבעיות המחקר הפתוחות נמצאות על גבול יכולתם של המודלים כבר כעת. הם צופים שהגיוון ש-Fork-and-Flush משתמש בו יישאר גם עם שיפור המודלים, רק שהגבול יוזז לכיוון משימות קשות יותר, ומסיקים שנילוי קונטקסט בקבוע עשוי עדיין להיות מועיל גם עבור סוכני מחקר חדשניים.

מקורות: The Decoder