doubleAI מציגה את Maxwell, מודל ביצוע קוד המבצע אופטימיזציה של קוד בזמן ריצה

Maxwell מבצע אופטימיזציה של קוד בזמן הריצה

doubleAI, סטארטאפ מתל אביב, ישראל, שנוסד ב-2023, הציגה את Maxwell ביום שני. מודל ביצוע הקוד מעריך, מבצע אופטימיזציה ומכתב מחדש קוד בינארי במהלך הביצוע. הוא נקרא על שם השד של מקסוול, ניסוי מחשבתי על אנטרופיה שהגה ג'יימס קלרק מקסוול ב-1867, והוא מעבד מראש אלגוריתמים והוראות מכונה כדי למקסם ביצועים על החומרה הזמינה.

Maxwell דומה בקונספט למהדר JIT, אך הוא גמיש יותר ומאמת באופן פורמלי את השקילות של קוד ההחלפה. קוד המקור אינו נגוע. מייסד משותף גל בנימיני, המחזיק בדוקטורט במדעי המחשב התיאורטיים, אמר שמהדר אינו יכול לבצע חשיבה ברמה גבוהה כגון שינוי אלגוריתם. Maxwell יכול לראות את החומרה המדויקת, את הצורות והסוגים של הנתונים שזורמים דרך התוכנית, את מצב הסביבה, מה עוד רץ ואילו צווארי בקבוק מופיעים תחת אילו תנאים.

האצות מדווחות ובדיקות אבטחה

doubleAI אמרה ש-Maxwell הפך צינורות נתונים למהירים יותר מ-38x וליבות הסקה של בינה מלאכותית למהירים יותר מ-4.5x. LTX-2.5, מודל עולם פתוח שמפיק וידאו 4K, הצליח לעשות זאת כמעט פי שניים מהר יותר עם Maxwell. האופטימיזציות הפחיתו נתונים שמוחלפים בין GPUs ושיפרו את בחירת הליבות כדי לבטל ריפוד טוקנים מיותר.

בנימיני אמר ש-Maxwell מצליח יותר עם קוד אלגוריתמי שניתן להתאמה לחומרה באופן לא טריוויאלי. הוא הוסיף שקוד Python וגרפים של PyTorch עדיין יכולים לקבל אופטימיזציות משמעותיות כי הם לעיתים קרובות רחוקים מאופטימליים. Maxwell יכול גם להתייחס לאבטחה על ידי הוכחה ששגיאות זיכרון אינן קיימות. הוא אמר שהחברה מצאה מקרים ב-Python עצמו שבהם Python לא היה בטוח מבחינת זיכרון וש-Maxwell הוכיח שזה כך.

הפצה ואמון

מעקב וניתוח פרופיל של Maxwell הם עם תקורה מקסימלית של 2 אחוז, ואפס כשהוא אינו עושה מעקב. בנימיני אמר שהאופטימיזציות עולות על העלות הזו, ו-doubleAI מיישמת גם את Maxwell על סביבת הריצה עצמה כדי לקבל בחזרה האצה שטוחה גדולה בהרבה מ-2 אחוז בכל המערכת. מפתחים מתקינים את סביבת הריצה ומריצים את הקוד שלהם, כשהמודל Maxwell מתארח על ידי doubleAI, סידור שדורש קצת אמון.

אמנון שעשוע, מייסד משותף ומנכ"ל של doubleAI, אמר שבינה מלאכותית שינתה את האופן שבו תוכנה נכתבת ועכשיו משנה את האופן שבה היא רצה. הוא תיאר מודלי ביצוע קוד כסוכנים מטעם החומרה במקום סוכני קוד מטעם המשתמש האנושי, וקרא ל-Maxwell הבינה המלאכותית הראשונה שעובדת עבור המכונה ולא עבור המתכנת.

מקורות: The Register · doubleAI