חוקרים ייסדו את Trillium Labs, מחקר AI בסיכון גבוה יתבצע בשקיפות

שני חוקרים ותיקי תעשייה, נתן למברט וטום זיק, ייסדו את מעבדת ה-AI הלא-מסחרית Trillium Labs. המעבדה התחילה את פעילותה ב-2 באוקטובר ותפרסם בשקיפות את פרטי המחקר, כדי שחוקרים חיצוניים יוכלו לשכפל אותם. היא תעבוד בשקיפות גם בתחומים שחברות AI מובילות שומרות עליהם בסוד.

הטיעון לשקיפות

לדברי למברט, הסגירות של מעבדות מובילות מגבילה את האפשרות לבדוק רעיונות ולהציע גישות חדשות. לדעתו, כדי להפחית סיכונים קריטי שהמומחים יראו כיצד מודלים נוצרים ומשופרים. "במשך כמה אלפי שנים לאנושות יש שיטה מדעית בקופסת הכלים שמפחיתה נזק ובונה עתיד טוב יותר", אמר למברט ל-WIRED. "המסלול הסגור הנוכחי של פיתוח AI מחזיר אותנו צעד אחורה."

מה תחקור המעבדה

לדברי זיק, Trillium Labs תתמקד ב-post-training, כלומר בשיפור של מודלים שכבר נוצרו. הכיוון המרכזי השני הוא RSI, שיפור עצמי רקורסיבי: תהליך שבו AI עצמו משתתף במחקר של מודלים חדשים. הפרספקטיבה שהקידמה תימשך לאינסוף והאדם יאבד שליטה מדאיגה רבים מהחוקרים; לפני זמן קצר חוקר של Anthropic עזב את החברה והזהיר ש-RSI מאיים על האנושות בסיכון קיומי.

המעבדה תחקור גם כיצד למידה מחזקת מעצבת את אופי המודלים וההתנהגות שלהם. שיטה זו הופכת סוכנים לחזקים בהרבה, אך גם לנוטים יותר לפעולות מוזרות; המודל לפעמים הופך להיות גם מרומז מדי. "כדי להבין כיצד למידה מחזקת פועלת ב-post-training, נדרש משאב חישובי גדול וניסויים רבים וזהירים", אומר זיק.

מימון ודיונים רחבים

Trillium Labs ממומנת על ידי Schmidt Sciences, Halcyon Futures ואחרים; סכום הכסף לא נחשף. המייסדים מתכננים לגייס סך של 40-100 מיליון דולר ולהוציא 30 מיליון דולר על אימונים ב-18 החודשים הבאים.

הדיונים חמרו אחרי שמודלים למדו למצוא באגים ולחדור למערכות באופן אוטומטי; התקיפות ההאקריות הרעשניות האחרונות הגבירו עוד יותר את הדיון. מודלים של OpenAI ו-Anthropic פועלים רק באמצעות אפליקציה או API, בעוד יצרנים אחרים, במיוחד בסין, משחררים מודלים להורדה. Xiaomi פרסמה לפני זמן קצר פרטי אימון גדולים, וחוקרי סטנפורד מפתחים בגלוי את המודל Marin. תומכי גישה מוגבלת מאמינים שכוח כזה צריך להישאר בידי מעט אנשים אמינים; למברט וזיק לעומת זאת סבורים שהבנה משותפת של הסיכונים מרוויחה לכולם.

למברט עבד בעבר ב-Ai2 וב-Hugging Face וייסד את American Truly Open Models, שמקדמת שחרור מודלים פתוחים על ידי חברות אמריקאיות. זיק עבד בהרוורד ועזר לפתח את מדיניות "AI אחראי" של Charles Schwab. "אנו חיים בתקופה שבה כמה תפיסות עולמיות שולטות בשיח על AI", אומר למברט. "אנו מאמינים שהשיטה המדעית ומדידה מדויקת של האירועים האחרונים היא הדרך הטובה ביותר להבין התנהגויות חדשות של מודלי AI."