NVIDIA מציגה את NV-Reason-CT: מודל 3D CT פתוח לחשיבה של רדיולוגים

NVIDIA הציגה את NV-Reason-CT, מודל שפה-ראייה (VLM) שנבנה במיוחד לניתוח סריקות טומוגרפיה ממוחשבת (CT) תלת-ממדיות. המודל מפיק דוחות אבחון מובנים ושרשרת חשיבה צעד-אחר-צעד שמחקה את אופן העבודה של רדיולוג, כך לפי פוסט בבלוג החברה מ-23 בספטמבר 2026.

השחרור מרחיב למידע תלת-ממדי את הגישה שהחלה עם NV-Reason-CXR, מודל לניתוח צילומי חזה, שמחקר קליני מרובה קוראים שלו התקבל ל-RSNA 2026 ואישר חיסכון בזמן לרדיולוגים תוך שמירה על דיוק אבחוני.

למה CT תלת-ממדי דורש גישה אחרת

סריקת בטן אחת יכולה לכלול 300–600 חתכים אקסיאליים, והאנטומיה מקודדת בשלושה ממדים מרחביים. מודלים סטנדרטיים מתייחסים לתמונה כרשת דו-ממדית של טוקנים, ולכן עיבוד הנפח כערימה של פריימים בלתי תלויים מאבד את הקשרים בין החתכים — הקשרים שהופכים גושים, תפליטים ותשפיעות לבעלי משמעות קלינית.

NVIDIA מצביעה על שני פערים נוספים: מודלים שמזהים ממצא נכון לעיתים קרובות מחזירים תווית בלי להסביר מדוע, ולרוב המערכות הקיימות חסר דיאלוג מרובה-תורות שנדרש לרדיולוג כדי לבחון ממצא.

טרנספורמר תלת-ממדי ומודל שפה 4B

הארכיטקטורה משלבת מקודד 3D vision transformer מלא עם מודל השפה Qwen3.5-4B. נפח ה-CT מובא ל-192³ ווקסלים ברזולוציה איזוטרופית של 2 מ"מ ומחולק לטוקני פאצ' בגודל 8×8×8 — בסך הכול 13,824 טוקנים חזותיים, המועברים למודל השפה יחד עם הקואורדינטות התלת-ממדיות שלהם. סכמת 3D MRoPE שומרת על הקשרים המרחביים בכל שכבות המודל. כל המשקולות אומנו מחדש מקצה לקצה.

האימון נעשה בשני שלבים: כוונון מפוקח (supervised fine-tuning) על כ-550,000 דוגמאות QA מובנות בחזה ובבטן, כולל הערות חשיבה שהוכתבו בידי רדיולוגים, ואחר כך למידת חיזוק עם GRPO ותגמול מודע-אנטומיה.

ביצועים ובדיקה קלינית

בבנצ'מרק CT-RATE הציבורי המוביל להבנת CT תלת-ממדי, NV-Reason-CT מציג Macro-F1 של 0.614 ו-Macro-AUROC של 0.871 — לפני מודלים קונטרסטיביים תלת-ממדיים כמו VoxelFM (0.581/0.870), Pillar-0 (0.544/0.861), CT-CLIP ו-Merlin, וגם לפני ClinFusion-8B (0.442) ו-MedGemma 1.5 (0.303). לדברי NVIDIA, זו הפעם הראשונה שמודל פתוח יחיד מתחרה גם בסיווג CT וגם ביצירת דוחות.

רדיולוגים של NIH בחנו את התוצרים; באריס טורקביי, ד"ר לרפואה, רופא בכיר במכונים הלאומיים לבריאות (NIH), אמר שהחשיבה הצעדית של המודל משקפת את הדרך שבה רדיולוגים חושבים על סריקת CT, ושהיכולת לראות את תהליך החשיבה ולא רק את המסקנה היא שמאפשרת לסמוך על הממצאים ולפעול לפיהם.

מה כוללת הפתיחות

NV-Reason-CT הוא תשתית מחקרית ופיתוחית פתוחה, לא מערכת אבחון אוטונומית ולא מוצר קליני מאושר. המשקולות זמינות ב-Hugging Face, ומאגר GitHub כולל סקריפטים להסקה, קונפיגורציות אימון ומתכוני אימון-המשך. המודל מצטרף למשפחת NVIDIA Medical AI לצד NV-Generate-CTMR לנפחים סינתטיים ו-NV-Segment-CTMR לסגמנטציה.