הסשן שאי אפשר לקחת איתך: למה תמלילי AI נעשים תלויים בספק

API שמחזיר יותר מטקסט

ההבטחה המקורית של API להסקה הייתה פשוטה: שלחו קלט, קבלו פלט — ואם שמרתם את שניהם, השיחה שלכם. אפשר היה לבדוק אותה, לארכב, להריץ מחדש או למסור למודל אחר. זה מעולם לא היה נכון לגמרי — מטמוני פרומפט חיים על ה-GPU של מישהו אחר, הטוקניזציה שונה בין מודלים והדגימה אינה משוחזרת בכוונה — אבל הרשומה הסמנטית של הסשן עדיין יכלה להיות שייכת למשתמש.

בפוסט שכותרתו “The Session You Cannot Take With You” טוענת Earendil Engineering שה-API של הסקה מתרחקים מהתכונה הזו. הספקים מחזירים יותר ויותר טקסט מעורב במצב שקשור אליהם ושאינו נייד בכוונה: טוקני חשיבה שמחויבים למשתמש אך מוחזרים כבלובים מוצפנים, חיפושי רשת שבהם המודל רואה חומר שהלקוח אינו רואה, הקשר מהודק שרק הספק המקורי יכול לפענח, הנחיות של סוכני משנה המוסתרות כמטענים מוצפנים, ומצב תשובה שמזוהה לפי מזהים הנשמרים כולם בשרתי הספק.

מבחן מעשי לבעלות על הסשן

הפוסט מגדיר ניידות בצניעות: לא שהמודל הבא יפיק את אותו טוקן, אלא שתמליל מיוצא יכיל מספיק מידע מובן כדי שמודל אחר ימשיך את העבודה — בלי שהספק הישן יפתח מזהה, יפענח בלוב או ישחזר תקציר. מכאן חמישה מבחנים: בדיקה (האם המשתמש רואה מה המודל ראה, מה הכלים עשו ומה הסוכנים אמרו זה לזה), ייצוא (האם הסשן עומד בפני עצמו), שחזור (האם מימוש אחר יכול לבנות הקשר שקול מבחינה סמנטית), ביקורת (האם אדם יכול להסביר בדיעבד מדוע המערכת פעלה כך) ומחיקה (האם המשתמש יכול לאתר ולהסיר כל עותק בשרת שהסשן תלוי בו).

מצב חתום, חיפוש נסתר והידוק אטום

Earendil טוענת שהשמות מטעים: שדה בשם encrypted_content נשמע כמו בקרת פרטיות, אבל זו קפסולה שרק הספק פותח — המחברים מכנים אותה “מצב חתום על ידי הספק”, שמסתיר מידע מכם ולא מהספק. ברירות המחדל של האחסון מצביעות לאותו כיוון: Responses API של OpenAI שומר תשובות לפחות 30 יום, ו-Interactions API של Gemini — 55 יום במסלול בתשלום. ההידוק של OpenAI מחזיר פריט שתיעוד החברה מתאר כאטום ולא מיועד לפרשנות אנושית.

שבעה כללים ומינימום של חופש

הפוסט מסתיים בשבעה עקרונות לספקים ולמי שבונים סוכנים: יומן האירועים המקומי הוא הקובע, האחסון מפורש, שום פריט אטום אינו נושא המשמעות היחיד, לכלים המתארחים יש יומנים מלאים, התקשורת בין סוכני משנה ניתנת לביקורת, ההידוק ניתן לבדיקה והארטיפקטים ניתנים לייצוא. המחברים גם קוראים לשנות את היחס לדיסטילציה: הם מתארים אותה כדרך להוזלת היכולות ולהפצתן הרחבה, לא כטאבו.

המינימום שהם מבקשים קטן: משתמש צריך להיות מסוגל לסגור חשבון, לשמור סשן ולמסור אותו למודל אחר. המודל החדש אולי לא יסכים, ישאל שאלות או יפעל גרוע יותר, אבל הוא לא צריך לבהות בטקסט מוצפן במקום שבו המודל הישן ראה היסטוריה, ראיות, תוכניות ועבודה שהואצלה.