В МГУ сократили затраты памяти при обучении моделей ИИ в 8 раз

Ученые факультета ВМК представили новый метод совмещения медицинских изображений на основе нейронных операторов. Разработанная модель под названием FNOReg может обучаться на снимках пониженного разрешения, а применяться на исходном разрешении без потери точности, что критически важно для работы с большими объемами 3D-данных, например, при томографии головного мозга. Решение позволяет существенно экономить вычислительные ресурсы, не жертвуя точностью.

Работа была представлена на конференции International Conference on Pattern Recognition (ICPR) и опубликована в журнале Lecture Notes in Computer Science.

Совмещение и точное сопоставление серий медицинских снимков — одна из ключевых задач в современной медицинской диагностике. Это необходимо для отслеживания развития болезни, планирования операций и сравнения данных разных обследований. Однако классические математические методы требуют существенных вычислительных мощностей и тонкой ручной настройки, а современные нейросетевые подходы требуют большого количества видеопамяти, недоступного на стандартных рабочих персональных компьютерах. При этом, при обучении на снимках меньшего разрешения, чем при использовании нейросети, такие модели теряют в точности. Авторами работы — студентом Никитой Дроздовым и старшим научным сотрудником лаборатории математических методов обработки изображений ВМК МГУ Дмитрием Сорокиным — было предложено решение данной проблемы.

Разработанная модель FNOReg, основана на архитектуре Нейронного оператора Фурье (FNO). В отличие от обычных сверточных нейросетей, которые работают с локальными паттернами на изображении, FNO оперирует в частотной (Фурье) области. Это позволяет модели выделять глобальные закономерности и быть устойчивой к изменению разрешения входных данных. Исследователи усовершенствовали базовую архитектуру, добавив эффективные блоки для извлечения признаков и дополнительные соединения, что повысило стабильность обучения и качество результата.

Модель тестировали на публичном наборе данных OASIS-1, содержащем МРТ-снимки головного мозга. При обучении на изображениях полного разрешения FNOReg показала точность, сопоставимую с лучшими современными аналогами (VoxelMorph, TransMorph). Ключевой прорыв проявился, когда модели обучали на снимках, разрешение которых было уменьшено вдвое. Точность ведущих аналогов при этом падала на 24-25%, в то время как точность FNOReg снижалась незначительно — всего на 0.8% для 2D и на 2.7% для 3D-данных. Это означает, что модель можно эффективно обучать на сжатых данных, экономя до 75% видеопамяти GPU, а затем применять к снимкам высокого разрешения без потери качества.

«Наша разработка открывает путь к более эффективной обработке больших медицинских данных, особенно трехмерных. Исследователи смогут тратить меньше ресурсов на вычисления и в итоге получать более точные и плавные карты деформаций для совмещения снимков. Это важный шаг к внедрению сложных ИИ-методов в реальную клиническую практику», — отмечает старший научный сотрудник лаборатории математических методов обработки изображения Дмитрий Сорокин.

Исходный код модели FNOReg находится в открытом доступе, что позволит научному сообществу использовать и развивать эту технологию.