NVIDIA, tablosal tahmin için açık model Kumo Tabular'ı yayımladı

NVIDIA, 29 Eylül'de Kumo Tabular'ı yayımladı. Bu, tablosal veriler için açık bir temel modeldir ve NVIDIA Kumo Structured koleksiyonuna dahildir. Ağırlıklar Hugging Face'te, kod ise şirketin açık kütüphanesinde (structured-data-models). Model, ticari kullanıma izin veren OpenMDW-1.1 lisansıyla dağıtılıyor.

Modele etiketli satırlardan oluşan bir tablo verilir; model yeni satırların etiketlerini tek ileri geçişte döndürür: eğitim, ince ayar ve özellik hazırlığı olmadan, hem sınıflandırma hem de regresyon için. Model 28 milyondan 215 milyon parametreye kadar üç boyutta gelir ve yalnızca sentetik tablolarda eğitilmiştir.

Nasıl çalışır

Kumo Tabular, tablo yapısı üzerine kurulu bir transformer'dır: TabICL ve TabPFN yaklaşımına benzer şekilde sütun, satır ve bağlam dikkatini kullanır. Her değer kendi sütununun dağılımında değerlendirilir, satır içindeki özellik etkileşimleri yakalanır ve bilinen etiketlere sahip satırlar yeni satırlara bağlanır. Bağlam sorgulara asla bakmaz, bu yüzden anahtarları bir kez hesaplanır ve sonraki tahminler için defalarca kullanılır. Sayısal ve kategorik veriler Fourier özelliklerinden geçer, eksik değerlerin doldurulması gerekmez. Dikkat sıcaklığı, daha büyük tablolarda keskin kalmak için anahtar sayısının logaritmasıyla birlikte artar.

Sentetik verilerle eğitim

Her eğitim tablosu Yapısal Nedensellik Modeli'nden (Structural Causal Model) üretilir ve ardından işlenir: sütun grupları birbiriyle kesişir, uç değerler kırpılır, tabloya eksik veriler yapay olarak eklenir ve tree-ensemble kontrolü düzenlilikten yoksun kalan tabloları eler. Eğitim üç aşamada ilerledi: 1.024 satırlı ve 100 sütuna kadar tablolardan 400–10.240 satırlık bağlama, sonunda 60.000 satıra kadar. Small, Medium ve Large sürümleri yaklaşık 35, 71 ve 137 milyon sentetik tablo gördü. Sınıflandırma ve regresyon ayrı modeller olarak eğitilir.

Sonuçlar

TabArena'da Kumo Tabular 1950 ELO ile birinci sıradadır ve NVIDIA'ya göre tek bir RTX 6000 Pro koşulunda LimiX-2'den 17 kat daha hızlı çalışır. BeyondArena'da model 1418 ELO ve %7,78 Improvability puanı aldı ve yine birinci. TALENT'te genel sıralamada sınıflandırma doğruluğu, log-loss ve regresyon RMSE'si ile birinci; ortalama sıralamalar 6,67; 3,98 ve 4,22. ScoringBench'te Kumo Tabular-Large ve Medium ortalama sıralamayla birinci ve ikinci sıradadır.

Sınırlamalar