„BootLoops“: רתמת קוד פתוח עוזרת למודלי AI לבצע חישובים מדעיים מדויקים

הפיזיקאי מהרווארד מתיו שוורץ יצר את BootLoops, רתמת קוד פתוח שעוזרת למודלי AI לבצע חישובים מדעיים מדויקים. הפרויקט מתואר בפוסט אורח שפורסם בבלוג של Anthropic; שוורץ עצמו הוא כיום חוקר אורח ב-Anthropic. קוד המקור של הרתמה זמין ב-GitHub.

לדברי שוורץ, הוא סירב להשתמש ב-Claude כחוקר אנושי והחל לחפש „משימות בצורת Claude“, כלומר עבודות המותאמות לחוזקות של המודלים של היום. הרעיון מבוסס על מושג המעטפת הקמורה (convex hull): הידע האנושי מקוטע, תחומים נפרדים מתפתחים בכיוונים שונים, והחללים ביניהם נותרים בלתי נחקרים. BootLoops ממלא בדיוק את הפערים האלה. התוצאות הופכות לעיתים קרובות לבעלות ערך רק כשמומחי התחום מצטרפים ונותנים כיוון.

36 כתבי יד ב-18 תחומים

בתוך שלושה חודשים הכינו שוורץ ו-19 מחברים שותפים 36 כתבי יד ב-18 תחומים. הוא התחיל בפיזיקת חלקיקים: בתוך כמה שבועות Claude חישב בעזרת BootLoops 30 אינטגרלים, 15 מהם היו שחזור של תוצאה ידועה, ו-15 חושבו לראשונה.

באקולוגיה המודל פתר משוואה בת 20 שנה של תיאוריית המגוון הביולוגי הנייטרלי, שחישוב רחב היקף שלה היה עד כה בלתי אפשרי. בנתונים מהאי Barro Colorado הוא מראה שהרכב מיני העצים משתנה פי 4,5 מהר יותר ממה שהתאוריה מניחה. יחד עם האקולוג ג'יימס או'דווייר, התגלית הפכה למודל חיזוי. בגנטיקה של אוכלוסיות הצוות ניתח 5,7 מיליארד זוגות מוטציות מ-1000 Genomes Project ומצא עדות למנגנון של המרה גנטית.

בין שאר הפרויקטים: עורך AI המיועד לכתבי עת כלכליים, שבדק 4452 חבילות שכפול, ומסד נתונים של לחץ ב-6072 שפות יחד עם שלושה בלשנים.

מגבלות ואזהרות

שוורץ מזהיר שהמודלים מכריזים על ניצחון בטרם עת: הביטוי „done, with one asterisk“ לעיתים קרובות אומר שהעבודה כלל לא הושלמה. הם מעריכים באופן גרוע את משך המשימה ולעיתים קרובות בוחרים בחישוב brute-force במקום בפתרון אלגנטי יותר. בדיקות אוטומטיות אינן אמינות, ומסקנות יכולות להיות שגויות גם כשהחישובים עצמם נכונים. המודלים נוטים לויכוחים ישנים שצוטטו רבות ופחות מחפשים שאלות חדשות באמת; והפרויקטים התבררו כיקרים מבחינת משאבי חישוב וטוקנים.

מה זה משנה במדע

לדעת שוורץ, AI משנה את קצב העבודה המדעית עד כדי כך שתכנון מראש הופך לכמעט בלתי אפשרי: מענק תלת-שנתי הוא חסר טעם אם המודל יכול לפתור את אותו חישוב בן לילה. גם מודל ההכשרה של סטודנטים ל-PhD נותר שאלה פתוחה. לדבריו, לפני שנתיים קורס Python למהנדסים היה „הכרחי“, היום הוא מיותר. למרות זאת, שוורץ בטוח שהשיטה המדעית אינה משתנה והנחיה אנושית נותרת בלתי ניתנת להחלפה.