DeepSeek מפרסמת בקוד פתוח את מסגרת ההסקה DeepInfer עבור V4.1-Flash
DeepSeek פרסמה את DeepInfer, מסגרת ההסקה שמאחורי שירותי הייצור בקנה מידה גדול שלה. היא תומכת ב-DeepSeek-V4.1-Flash על מעבדים גרפיים Nvidia SM100 ו-NPU של Huawei Ascend 950, ומוסיפה ליבות ממוטבות ותזמון א-סינכרוני.
DeepInfer זמין כעת בקוד פתוח
DeepSeek אמרה שהיא מפרסמת בקוד פתוח את DeepInfer, מסגרת ההסקה שמפעילה את שירותי הייצור בקנה מידה גדול שלה. מאגר הפרויקט מציין שהמהדורה תומכת ב-DeepSeek-V4.1-Flash ופועלת על מעבדים גרפיים Nvidia SM100 ו-NPU של Huawei Ascend 950. DeepSeek מתכננת להוסיף תמיכה למערכות עתידיות, כך לפי Bloomberg.
DeepSeek כתבה ב-X שהיא משתפת את מחסנית הייצור שלה כדי לעזור לקהילה להוריד עלויות חישוב, לצמצם שימוש באנרגיה ולהפוך את ה-AI למשתלם יותר. מטה החברה נמצא בהנג'ואו.
מה כוללת מסגרת העבודה
DeepInfer כוללת ליבות ממוטבות ושיטות מקביליות עבור שכבות תשומת לב ושכבות mixture-of-experts. היא גם מספקת שיטת פענוח המשתמשת באסימוני טיוטה והערכות ביטחון כדי לתזמן אימות, יחד עם תזמון א-סינכרוני שחופף תזמון אצווה של CPU עם ביצוע במכשיר.
המהדורה כוללת גם הסקה א-תלוית-אצווה (batch-invariant), דגימה דטרמיניסטית ופלטים מובנים. הסקה א-תלוית-אצווה ודגימה דטרמיניסטית פועלות רק על חומרה של Nvidia. רשימת הליבות כוללת ליבות TileLang מותאמות ומכסה שבבי Huawei Ascend 950.
מגבלות ודרישות פריסה
המהדורה מספקת הסקה לא מקוונת ואינה כוללת חלקים משירות הסקה מלא. DeepSeek אמרה שהמשתמשים צריכים לספק מערכת מטמון KV, פירוק פריפיל ופענוח (disaggregation) ואיזון עומס בין עותקים מקבילים של נתונים הן לפריפיל והן לפענוח.
DeepInfer דורשת Linux, GCC 13.0 ואילך ו-Python 3.12, בנוסף ל-CUDA 13 על חומרה של Nvidia או CANN 9.2 על Ascend. היא מופצת תחת Apache License 2.0. DeepSeek אמרה שהמסגרת נבנתה במקור בעיקר על vLLM, עם השראה נוספת מ-SGLang ומ-TensorRT-LLM.
למה השחרור משנה משחק
Bloomberg אמר שהשחרור חושף שיטות ש DeepSeek נשענת עליהן כדי להחזיק בעלויות הסקה ל-AI מתקדם, טכניקות שחברות AI נוטות לשמור עליהן. חברות שמארחות או מריצות מודלים של DeepSeek בענן יכולות ליישם את השיטות בעצמן, ו-Bloomberg אמר שמחיר שירות של מודל נתון יכול להשתנות במידה ניכרת בהתאם לתוכנת השירות.
לפי Bloomberg, אף גורם חיצוני עוד לא בדק את היעילות ש DeepInfer מאפשר. המסגרת חלה על המודלים של DeepSeek עצמה, אך מפתחים חיצוניים עשויים לקרוא את הקוד ולשאוב מהטכניקות שלו למערכות שלהם. בחודש שעבר, DeepSeek הודיעה על שותפות עם Huawei לבניית כלי תכנות לשבבי Ascend, ופרסמה בקוד פתוח שישה מודולי תוכנה לפלטפורמה, כולל גרסה של TileLang שהותאמה ל-Ascend 950.
SiTech — פיתוח אתרים בכוח ה-AI
אנחנו בונים אתרים מהירים ומודרניים ומשלבים AI בתהליכי עבודה אמיתיים. יש לכם פרויקט או שאלה? נשמח לעזור.