NASA та IBM Research випустили модель з відкритим кодом для місячної науки

Спостереження Місяця знову стають застосовною моделлю

NASA та IBM Research, у співпраці з кількома академічними інститутами, випустили NASA-IBM Lunar Foundation Model. Її описують як одну з перших базових моделей з відкритим кодом для місячної науки. Вона попередньо навчена на великому обсязі розмічених даних і може бути адаптована до конкретних задач за допомогою невеликої кількості розмічених прикладів, що вирішує поширену проблему в дослідженнях Місяця: спостережень багато, а міток — мало.

Команда навчала модель з нуля з використанням SomBench, який називають найбільшим на сьогодні спільно зареєстрованим мультимодальним місячним корпусом. Він включає майже 2 мільйони наборів файлів в 11 модальностях та двох просторових масштабах. Близько 1 мільйона зображень високої роздільної здатності надійшло з Narrow Angle Camera, близько 1 метра на піксель; трохи менше 964 000 мультиспектральних зображень — з Wide Angle Camera, 100 метрів на піксель. Набір даних містить понад 30 просторово вирівняних шарів даних з дев'яти інструментів і чотирьох місій. Він був розділений географічно, за зонами карти, щоб уникнути витоку між навчальними, валідаційними та тестовими даними.

Найбільше покращення в прогнозуванні льоду та кратерів

Модель заснована на TerraMind, моделі мультимодальних спостережень Землі, хоча її навчали з нуля, а не доопрацьовували на попередньо навченій моделі. Для кожного файлу вона чітко враховує кути освітлення, позицію Сонця, розмір файлу та іншу геометрію зйомки. Вона розбиває зображення Місяця, дані висоти та геометрію зйомки на токени, а потім вивчає їхні взаємозв'язки, прогнозуючи закриті частини. Зображення високої та низької роздільної здатності навчаються разом, а FlexiViT дозволяє навченій моделі працювати з фрагментами зображень різного розміру без повторного навчання.

Найбільше покращення зафіксовано в прогнозуванні полярних льодовикових відкладень. За даними IBM, модель зменшила помилку прогнозування на 22% порівняно з найкращою базовою моделлю, SwinV2-B. У виявленні великих кратерів вона перевершила SwinV2-B майже на 19%, причому використала лише половину навчальних даних. Моделі показали подібні результати у виявленні кратерів метрового масштабу та сегментації Irregular Mare Patch; більшість відмінностей залишилася в межах варіації між запусками навчання. LoRA не поступалася повному доопрацюванню в тестових задачах і краще працювала у виявленні кратерів.

Корисна для аналізу, але має обмеження в позиціонуванні

Директор IBM Research Europe Хуан Бернабе-Морено сказав, що модель пов'язує спостереження різних інструментів і виявляє закономірності, які важко розпізнати ізольовано. Вона не підходить для абсолютного геодезичного позиціонування. У тестах генерації довгота та широта іноді були зміщені на сотні градусів, а реконструйовані рельєфні структури можуть мати абсолютні значення висоти, які перевищують реальні. Дослідники розглядають її як основу для подальшого аналізу, а не як заміну фізичним вимірювальним інструментам. Контрольовані експерименти, які окремо перевіряють кожне нововведення, ще не проводилися, а деякі тестові набори даних є малими.

Модель публічно доступна на Hugging Face, її код — на GitHub, а інтегрована вона в інструментах з відкритим кодом TerraTorch. NASA та IBM також опублікували готові для машинного навчання набори попередньо навчених даних та колекції бенчмарків. Модель є частиною їхньої співпраці AI for Science, в рамках якої вони працюють над базовими моделями з початку 2022 року.