מהנדס של Google: AI שמשתפר בעצמו עדיין רחוק, למרות הקדמת האוטומציה

המהנדסית של Google היידן בלפילד טוענת כי AI שמשתפר בעצמו עדיין רחוק, למרות שבתוך החברה כבר חלה אוטומציה משמעותית. לפי בלפילד, ההאצה המדידה במחקר ה-AI שנגרמת על ידי AI של Google DeepMind אינה מתגלה.

האוטומציה גדלה, אבל בני אדם עדיין מעורבים

לפי בלפילד, AI ב-Google כותב כעת יותר מ-75% מקוד הפרודקשן. עם זאת, כ-88% משינויי הקוד עדיין דורשים פיקוח או בדיקה אנושית, וכל שינוי נבדק על ידי בן אדם לפני שליחה. שיעור שינויי הקוד שהופכים לאוטומטיים לחלוטין על ידי AI עלה מ-7.5% ל-11.9%, וככל שהמשימה מורכבת ותובעת יותר זמן, כך הסיכוי ש-AI יסתדר איה באופן עצמאי קטן יותר.

ב-1,389 הרצות פנימיות של הסוכן Argon, מדד ההצלחה ללא התערבות אנושית ירד באופן חד ככל שהמורכבות עלתה. לפי בלפילד, בני אדם עדיין חיוניים למחקר יצירתי, לעיצוב ניסויים חדשים, לאבחון חוסר יציבויות מורכבת שנוצר בזמן אימון ולתכנון ארוך טווח. סקר שנערך עם חוקרים בכירים ב-Google DeepMind אישר תבנית זו: האוטומציה הכי גבוהה במשימות מוגדרות היטב וניתנות לבדיקה, והכי נמוכה ביצירת רעיונות מדעיים פתוחים.

במדד הפנימי RE-Bench של DeepMind, הכולל 74 משימות הנדסת למידת מכונה ריאליסטיות, Argon עובר כמחציתן. זו קפיצה משמעותית בהשוואה לתוצאה של 27% של Gemini 3.7 Flash, אך הוא עדיין רחוק מהתוצאה כמעט מושלמת שנדרשת לאוטומציה מלאה.

אין האצה מדידה במחקר AI

לצורך מעקב שיטתי אחר התקדמות, הצוות בנה מדד יכולות כללי (GCI) המכסה 123 מודלים ו-92 מדדים. יכולות מודלי Gemini גדלות בקצב יציב של כ-0.1 נקודת GCI בחודש, ללא שינוי משמעותי במהירות. הצווד טוען כי Gemini 4 נמצא מעט מעל קו המגמה של Argon בזכות משאבי חישוב והשקעות ארגוניות נוספות, ולא בגלל האצה שנגרמה על ידי AI.

הצווד מעריך כי הסיכון של אוטומציית מחקר AI נמוך כרגע, אך בונה תשתית מדידה כדי לעקוב אחר סימני האצה בעתיד.

לא כולם מסכימים

מסקנותיה של בלפילד תואמות מחקרים אחרונים, אך לא כולם בתחום מסכימים. יותר מ-20 חוקרי AI, בהם ג'פרי הינטון, יושוע בנג'יו וג'קוב פצ'וצ'קי מ-OpenAI, פרסמו לאחרונה מאמר מדעי שבו הזהירו מפני "פיצוצי אינטליגנציה" אפשריים. לטענתם, מערכות AI עשויות לאטמט את כל מחקר ופיתוח ה-AI במהלך מספר שנים, ובכך לכווץ התקדמות של שנים רגילות למספר חודשים בלבד.

מקורות: The Decoder