OpenAI מתכננת לשחרר דגם אחד או שניים השנה; לדגם הדגל עדיין נדרשת עבודת יישור

לוח זמנים לשחרור דגמים

OpenAI מתכננת לשחרר עד סוף השנה „דגם חדש אחד או שניים“, כך לפי עובדים שהביאה The Information. לא ברור אם ביניהם יהיה גם הדגם הדגלי המעודכן הראשי של החברה. לדגם הדגל עדיין נדרשת עבודת יישור, כדי שמטרותיו יתאימו למה שחוקרי OpenAI והמשתמשים מצפים לו; יחד עם זה על החברה גם לחזק את התשתית לבדיקות סביב הדגם.

לפי הנחיית הנשיא דונלד טראמפ, המסדירה הערכה של מערכות בינה מלאכותית מתקדמות, OpenAI הסכימה להעניק לממשלת ארה״ב גישה לדגמים חדשים עד 30 יום לפני שותפים חיצוניים, ואף מוקדם יותר לפני שחרור ציבורי.

Looped transformer-ים ובטיחות

הדגם הדגלי משתמש באותה טכניקת looped transformer שבה משתמש Astra, הדגם המוביל הנוכחי של OpenAI, שם השיטה הזאת נקראת „Recurrent Depth“. במקום שטוקן יעבור פעם אחת דרך שכבות ה-transformer, הדגם מעביר אותו כמה פעמים דרך אותן שכבות עד שהוא מפיק את המילה הבאה. הגישה הזו מחזקת תוצאות במתמטיקה ובקידוד ומפחיתה עלויות, כי גם דגם קטן יכול לעשות יותר מהמשקל שלו.

לעומת זאת, הפיקוח מסתבך. העברה בלולאות ממירה חלק מ„חשיבת“ הדגם מטקסט קריא לייצוגים מספריים פנימיים שבודקים אנושיים לא יכולים לוודא, וזה מחליש את ניטור שרשרת החשיבה. OpenAI מכוונת להגביל את מספר הלולאות ש-Astra מבצע, כדי ששרשרת החשיבה שלו תישאר קריאה. המדען הראשי יאקוב פצ׳וקי הודה שניטור שרשרת החשיבה הופך יותר ויותר „רגיש“ ו„לצערנו, הולך ומתפתח בכיוון שלילי“, והזהיר את התעשייה לא לרוץ לדגמים שאין להם היגון שניתן לקריאה.

חלוקה מחדש של כוח חישוב והדליפה של Microsoft

לאחר התקרית של Hugging Face, OpenAI הפכה כ-10 אחוז מכוח החישוב הכולל לעבודה על יישור ובטיחות, אמר אדם קרוב לנתונים. שווה למאות מגה-וואט של כוח חישוב במרכז נתונים זה, אך לא ברור כמה הוקצה לבטיחות עד כה או איך נראית החלוקה הנוכחית. בתעריפי שוק, השכרת כוח חישוב מופץ הייתה עולה מיליארדי דולר בשנה. החוקר בבינה מלאכותית נואם בראון אמר בפודקאסט באמצע ספטמבר שכ-10 אחוז מהצוות שלו עובדים על בטיחות והגנה.

Microsoft, משקיעה גדולה עם גישה לנכסים האינטלקטואליים של OpenAI, חשפה במקרה איך טכניקה זו עובדת. בסעיף שנמחק עתה מהסקירה הטכנית של GPT-6.1 Sol, חלופה זולה יותר ל-Astra ששוחררה תחילת חודש זה, Microsoft תיארה „looping inference“, שבה הדגם מעבד את אותה בעיה בכמה „מעברים“. העמוד כתב ש-GPT-6.1 Sol „משתמש באותם משקלי מודל בסיס כמו GPT-6 Sol, אבל עם שני מעברי inference במקום שלושה“. Microsoft מחקה את הסעיף הזה אחרי שהבינה שהוא לא היה אמור להיות ציבורי.

מקורות: The Decoder