Edge0 מפרסמת בקוד פתוח מודל AI של 145B להרצה מקומית על לפטופ

Edge0 פרסמה בקוד פתוח את Edge0-145B ואת Edge0-120B יחד עם מסגרת הסקה מאוחדת וכלי פריסה. Edge0-145B מתואר כמודל AI הראשון בקוד פתוח להרצה מקומית עם 145 מיליארד פרמטרים, המביא יכולות קידוד, חשיבה וסוכנים המתחרות במודלי ענן מתקדמים. החברה אומרת שהוא יכול לרוץ מקומית על לפטופ תואם עם זיכרון שיא של 29GB ולפענח מעל 80 טוקנים לשנייה.

ביצועים מקומיים ועיצוב

Edge0-145B מדווח כמשתמש ב-29GB זיכרון שיא, מעבד הנחיות בקצב של 1,100+ טוקנים לשנייה, מייצר בקצב של 80+ טוקנים לשנייה, צורך כ-120W הספק אופייני, ותומך בהקשר של 128K עד 256K. העיצוב משתף מטריצות גדולות בין קבוצות של 64 מומחים דלילים, כך שרק כ-10B מתוך 145B פרמטרים משתתפים בכל צעד הסקה. מומחים חמים נשארים בזיכרון GPU, ספריית מומחים של כ-40GB יושבת בזיכרון המערכת, וכ-48GB של נתוני אוצר מילים נמצאים ב-SSD. המעבד וה-GPU עובדים במקביל, עם פענוח ספקולטיבי המאמת מספר טוקנים מועמדים בו-זמנית. Edge0-35B, מודל טלפון קודם, דיווח על זיכרון שיא מתחת ל-2.5GB ו-37+ טוקנים לשנייה באייפון 18 פרו מקס; מדידות אלו מתייחסות למודל ולחומרה שונים.

בנצ'מארקים, זיכרון, ותהליכי עבודה מקומיים

Edge0-145B משיג 64.6 ב-DeepSWE 1.1, 86.52 ב-Terminal-Bench 2.1, 35.4 ב-HLE, 90.4 ב-GPQA-Diamond, 80.6 ב-IFBench, ו-79.3 ב-AA-LCR. הממוצע שלו בששת הבנצ'מארקים הוא 72.8 עם 29GB זיכרון שיא מדוד, בהשוואה ל-Qwen3.8-Flash-Next ב-71.7 ולהערכת 70GB לפריסה סטנדרטית של 4-ביט. בהשוואה ל-Qwen3.8-27B, השיפורים כוללים 18.5% ב-Terminal-Bench ו-53.1% ב-DeepSWE, בנוסף ל-14.9% ב-HLE, 1.3% ב-GPQA, ו-1.4% ב-IFBench. המודל יכול לתכנן, לכתוב ולהריץ קוד, לאתר שגיאות ולבדוק תוצאות באופן חזותי. הדגמות כוללות סרטון הסבר של Roadster בתוך שעה, סצנת מנהטן תלת-ממדית ב-Blender בתוך שעה, טיסה של 20 שניות מעל עיר ימי-ביניים, תוכנית ניווט רחפן, ועיצוב PCB עם אנימציית הרכבה. החברה טוענת שסצנה בקנה מידה מנהטן תעלה ידנית כ-12,000-18,000 דולר ותיקח לפחות חודש, בעוד מודל ענן מוביל יעלה יותר מ-150 דולר בעמלות טוקנים בענן. הסקה מקומית אינה כרוכה בעמלות טוקנים או API של מודל ענן, אף שחומרה וחשמל עדיין עולים כסף.

פלטפורמה, פורטפוליו, ואקוסיסטם

Edge0-145B תומך ב-macOS, Windows, ו-Linux מהיום הראשון, כולל שבבי Apple מסדרת M ופלטפורמות NVIDIA כגון RTX Spark, RTX 4090, ו-RTX 5090. Edge0 שחררה 200 מודלים בארבע משפחות: Edge0 למשימות סוכן מורכבות וקידוד וייב, Audio8 להקשבה ודיבור, Decision0 להחלטות מהירות, ו-Embedding0 לזיכרון. הפורטפוליו שלה מכסה 95% מפלטפורמות השבבים המרכזיות, משתרע על יותר מ-5 מיליון מכשירי ייצור, עבר 15 מיליון הורדות בשלושה חודשים, והגיע ליותר מ-110,000 ארגוני לקוחות עד אוקטובר 2026. פוסט ההשקה של Edge0-35B בספטמבר עבר 1.2 מיליון צפיות ביום הראשון, ושני Edge0 ו-Audio8 הגיעו למקום הראשון בטבלת Trending של Hugging Face. הסקה מקומית יכולה לשמור קוד ונתונים על המחשב, לתמוך ביכולות ליבה במצב לא מקוון, ולהימנע מעמלות טוקנים או API של מודל ענן ככל שהשימוש גדל.

מקורות: edge0.ai