
הומלאבר מריץ את מודל קימי K3 בעל 2.8 טריליון פרמטרים ב-3.11 טוקנים לשנייה על שני RTX 3090 ואופטיין
הומלאבר שיפר את בניית האופטיין השנייה שלו, הוסיף שני RTX 3090 והריץ את מודל קימי K3 של Moonshot עם 2.8 טריליון פרמטרים ב-3.11 טוקנים לשנייה; העברת כמחצית המודל לכונן זיכרון RAM שיפרה את המהירות בכ-41%.
הומלאבר פירט שיפורים בבניית אופטיין AI דור שני בפוסט המשך ב-Reddit, והוסיף שני RTX 3090 כדי להריץ את מודל קימי K3 של Moonshot עם 2.8 טריליון פרמטרים ב-3.11 טוקנים לשנייה. העברת כמעט מחצית מהמודל לכונן זיכרון RAM העלתה את מהירות היצירה בכ-41% ואת הערכת ההנחיה בכ-26%. הבנייה עדיין זקוקה למאווררים נוספים מכיוון שזיכרון האופטיין מתחמם מאוד.
ביצועים עם ובלי כונן RAM
עם שני ה-GPU אך ללא כונן RAM, הבנייה רצה ב-2.20 טוקנים לשנייה ליצירה ו-13.3 טוקנים לשנייה להערכת הנחיה. עם 45 מתוך 94 שברים, כלומר 414 GB מתוך 865 GB של המודל, בכונן RAM tmpfs והשאר באופטיין, היצירה הגיעה ל-3.11 טוקנים לשנייה והערכת ההנחיה ל-16.8 טוקנים לשנייה. המדידות של הבונה השתמשו ב-llama.cpp, עם DAX מופעל לחלק של האופטיין.
סידור כזה אינו חדש לחובבים שמקצים זיכרון מערכת לביצועים מהירים במיוחד באופן פסאודו-לא-נדיף, שבו הוא נראה כמו דיסק, אף שלא לכולם יש כיום כל כך הרבה זיכרון RAM פנוי.
כיצד משתמשים ב-GPU ובזיכרון
שני ה-RTX 3090 מכילים 24 GB VRAM כל אחד, סך הכול 48 GB, כ-5.5% מקובץ המודל של 865 GB, לכן הם אינם מחזיקים את המודל. המודל הוא מסוג mixture-of-experts עם 896 מומחים; 16 נבחרים לכל טוקן, בנוסף לשניים משותפים, עם 104 מיליארד פרמטרים פעילים מתוך 2.8 טריליון. הטנזורים של המומחים המנותבים נשארים בצד ה-CPU, באופטיין ובכונן ה-RAM, בעוד ה-RTX 3090 מטפלים בקשב, בשכבת הרשת הצפופה feed-forward, במומחים המשותפים, ברכיבים צפופים פעילים אחרים, במטמון KV, בהקשר שיחה שמור ובמאגרי חישוב GPU.
DRAM איטי יותר מ-VRAM, אך הוא עדיין מסוגל לספק האצה נאה, והמהירות עם ה-GPU הייתה בטווח שהבונה ציפה, לאחר שניחש בין 2 ל-4 טוקנים לשנייה בשרשור הבנייה המקורי.
גודל המודל וקוונטיזציה
כל 2.8 טריליון הפרמטרים היו תופסים כ-5.6 TB בדיוק של 16 סיביות. הגרסה של Moonshot משתמשת בפורמט 4-סיביות MXFP4 ומגיעה לכ-1.56 TB, בעוד קובץ Q2_K שנמצא כאן מצמצם את המודל ל-865 GB, ממוצע של פחות מ-3 סיביות לפרמטר. הדוח מציין שהנתון 865 GB כנראה בג'יבייבייטס, אך משתמש בערכי GB כפי שכתב ההומלאבר.
קירור ותוכניות עתידיות
התקנת ה-GPU המתינה חלקית לשינויים במארז, שדרשו חיתוך מתכת והעברת ספק הכוח כדי לפנות מקום ל-GPU ולקירור שלהם. הקירור נותר בעיה מרכזית, ושני מאווררי מפוח 12W עבור DIMM האופטיין נשארים במקומם גם עם שני GPU בקטגוריית 350W. הבונה רואה אופטימיזציות נוספות בעתיד, כולל "קוונטיזציה מותאמת אישית", שעשויה להיות דומה לטכניקות שבהן השתמש עורך הדין ניק מרמיג'ס, ומציין שמהירות לבדה אינה מספיקה מכיוון שגם איכות הפלט צריכה להילקח בחשבון.
מקורות: Tom's Hardware
SiTech — פיתוח אתרים בכוח ה-AI
אנחנו בונים אתרים מהירים ומודרניים ומשלבים AI בתהליכי עבודה אמיתיים. יש לכם פרויקט או שאלה? נשמח לעזור.