NVIDIA השיקה את Kumo Tabular, מודל פתוח לחיזוי טבלאי

NVIDIA השיקה את Kumo Tabular ב-29 בספטמבר. זהו מודל בסיס פתוח לנתונים טבלאיים, והוא חלק מהאוסף NVIDIA Kumo Structured. המשקלים נמצאים ב-Hugging Face, והקוד בספרייה הפתוחה של החברה (structured-data-models). המודל מופץ תחת רישיון OpenMDW-1.1, שמאפשר שימוש מסחרי.

המודל מקבל טבלה עם שורות מסומנות, והוא מחזיר תוויות לשורות חדשות במעבר קדימה אחד: ללא אימון, כיוונון והנדסת תכונות, הן לסיווג והן לרגרסיה. המודל קיים בשלושה גדלים, מ-28 מיליון עד 215 מיליון פרמטרים, והוא אומן רק על טבלאות סינתטיות.

איך זה עובד

Kumo Tabular הוא transformer הבנוי סביב המבנה של הטבלה: הוא משתמש בקשב לעמודות, לשורות ולקונטקסט, בדומה לגישה של TabICL ו-TabPFN. כל ערך מוערך בהתפלגות של העמודה שלו, האינטראקציה בין תכונות בתוך השורה נלכדת, ושורות עם תוויות ידועות מקושרות לשורות חדשות. הקונטקסט אף פעם לא מסתכל על השאילתות, ולכן המפתחות שלו מחושבים פעם אחת ומשמשים שוב ושוב לחיזויים הבאים. נתונים מספריים וקטגוריאליים עוברים דרך תכונות Fourier, וערכים חסרים לא דורשים השלמה. טמפרטורת הקשב גדלה יחד עם הלוגריתם של מספר המפתחות, כדי להישאר חדה בטבלאות גדולות יותר.

אימון על נתונים סינתטיים

כל טבלת אימון נוצרת ממודל סיבתיות מבנית (Structural Causal Model) ואז מעובדת: קבוצות עמודות חופפות זו לזו, ערכי קצה נחתכים, נתונים חסרים מתווספים באופן מלאכותי לטבלה, ובדיקת tree-ensemble משליכה טבלאות שנשארו בלי חוקיות. האימון התנהל בשלושה שלבים: מטבלאות עם 1,024 שורות ועד 100 עמודות לקונטקסט של 400–10,240 שורות, ובסוף עד 60,000 שורות. גרסאות Small, Medium ו-Large ראו כ-35, 71 ו-137 מיליון טבלאות סינתטיות. סיווג ורגרסיה מאומנים כמודלים נפרדים.

תוצאות

ב-TabArena Kumo Tabular ממוקם ראשון עם 1950 ELO, ולפי NVIDIA הוא עובד פי 17 מהר יותר מ-LimiX-2 בתנאים של RTX 6000 Pro אחד. ב-BeyondArena המודל קיבל 1418 ELO וציון Improvability של 7.78% ושוב ראשון. ב-TALENT הוא ראשון בדירוג הכללי לפי דיוק סיווג, log-loss ו-RMSE של רגרסיה; הדירוגים הממוצעים הם 6.67, 3.98 ו-4.22. ב-ScoringBench Kumo Tabular-Large ו-Medium במקומות הראשון והשני לפי דירוג ממוצע.

מגבלות