OpenAI משתמש ברקורסיה סודית ב-Astra, חוקרי אבטחה מזהירים מפני מעקב

חותר פחות לקריאה

OpenAI שילבה טכניקת רקורסיה סודית ב-Astra. במקום לתעד שלבים, המודל מריץ בקשה אחת בלולאה מספר פעמים, מה שמשאיר חותר פחות קריא ומעלים משמעותית את רישום שרשרת המחשבה שצוותי אבטחה מסתמכים עליו.

שרשרת המחשבה היא בדרך כלל רצף השלבים שהמודל עובר לפני שהוא מגיע לתשובה. חוקרים מזהירים שמדובר בחלון חלקי ולא בתיעוד מילולי, אם כי בתחום זהו הדרך המרכזית לזהות אלימות וסטיות ממטרות שהוטמעו. במקרה האחרון הקשור לסוכנים האוטונומיים של OpenAI, רישומי שרשרת המחשבה אפשרו לשחזר מדוע הסוכנים פעלו בדרך שבה פעלו.

דאגת מעקב

באק שלגריס, המנכ"ל של Redwood, מצהיר שהטכניקה מדאיגה מאוד ועדיין לא יודע כמה קשה יותר לעקוב אחר Astra לעומת מערכות קודמות. הדאגה שלו נוגעת בגרדיאנט: אם OpenAI תמשיך לפתח אותו, לולאות חוזרות עשויות לגדול באופן משמעותי ולהשמיד למעשה את היכולת לעקוב אחר שרשרת המחשבה בכלל.

ריאן גרינבלט, המדען הראשי ב-Redwood Research, מצהיר שהיגיון סודי עשוי לגדול מהר בהרבה מאשר שרשרת מחשבה רגילה, ושתהליך ההיגיון כולו עשוי להיחשף מעבר לתעלות הגלויות. הוא קרא במישרין לנקודת שבירה: לפתח את הטכניקה עד שהמודל חושב לחלוטין או כמעט לחלוטין במרחב לטנטי, ובו זמנית אמר שהוא מקווה ש-OpenAI תעצור שם שהיא נמצאת כרגע.

זוי מושוביץ' הציגה את הבעיה כסוגיה של תיאום ואמרה שייתכן שיהיו צריכים חוקים כדי לעצור ריצה עד רמה מינימלית בין מעבדות. הוא ציין שהטכניקה מנוגדת כלל בלתי כתוב ש-OpenAI ו-Anthropic מנסים יחד לכונן: שרשרת המחשבה תישאר נאמנה וניתנת למעקב ככל האפשר.

עמדת OpenAI בתגובה

OpenAI דחתה את הרמז שהיא מתקדמת לכיוון שפה עצבית שנכונותה הפנימית אינה ניתנת לקריאה על ידי אדם. החברה אמרה שהשימוש בטכניקה ב-Astra מוגבל ושהיגיון המודל חייב להישאר קריא לצופים. המעבדה הוסיפה שהיא מתכננת לבנות מערכות מעקב נרחבות לשרשרת המחשבה במסגרת תוכנית האבטחה העתידית.

יעקוב פצ'וצקי, המדען הראשי של החברה, כתב ב-X ש-OpenAI ממשיכה לעקוב אחר שרשרת המחשבה ומשתמשת במודלים מהדורה ראשונה בעלי יכולת היגיון, ומגדיר זאת כאחת המטרות המרכזיות של תוכנית המחשבה המתמשכת.

הרגעה ודאגה לא נוגעות באותו דבר. OpenAI מגנה את החזות שלה, וחוקרים מצביעים על אפשרות שכבר קיימת במודל ששוחרר ואין לה נקודת עצירה טבעית. לא צוין כמה לולאות חוזרות Astra מריץ, כמה היגיון לולאה סופגת או מה משמעות המגבלה בפרקטיקה. The Information פרסם ש-Anthropic ו-Google DeepMind כבר בחנו את הטכניקה.

מקורות: Dataist · Techmeme · Theinformation