Исследователи факультета вычислительной математики и кибернетики МГУ совместно с коллегами из Геологического института РАН предложили подход к расширению обучающих наборов данных для семантической сегментации минералов на микрофотографиях аншлифов. Метод автоматически выявляет области изображения, в которых модель демонстрирует повышенную эпистемическую неопределённость, и тем самым позволяет направлять работу эксперта на наиболее информативные фрагменты вместо повторной разметки всего изображения. Результаты работы, подержанной Российским научным фондом, опубликованы в The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences.
Автоматическая сегментация минералов важна для задач петролого-минералогического анализа и ускорения интерпретации данных. Вместе с тем качество предсказаний нейросетей может заметно снижаться при переносе на изображения, полученные на другом оборудовании или при иных условиях освещения и цветопередачи. В таких ситуациях обычно необходима доразметка данных, которая является трудоёмкой и требует участия высококвалифицированных специалистов-геологов.
В предложенном подходе используется гиперболическое активное обучение (HALO) для построения карты неопределённости по всему изображению. Для каждого пикселя вычисляется «гиперболический радиус» в пространстве Пуанкаре как мера эпистемической неопределённости: более высокие значения соответствуют областям, где модель менее уверена в предсказании. На практике это визуализируется в виде тепловой карты, по которой можно выделять зоны, требующие дополнительной разметки.
«Гиперболическая оценка неопределённости позволяет целенаправленно доразмечать именно те фрагменты аншлифов, на которых модель теряет качество при смене условий съёмки. Это более эффективная стратегия, чем наращивание датасета “вслепую”», — поясняет Александр Хвостиков, старший научный сотрудник лаборатории математических методов обработки изображений факультета ВМК МГУ.
Метод оценивался на датасете LumenStone S1v2. Для моделирования эффектов доменного сдвига авторы сформировали серии искусственных цвето-яркостных искажений («blue», «pink», «yellow») с постепенным усилением и проверили поведение двух архитектур сегментации — ResUnet и модифицированной PSPNet. Показано, что карты гиперболического радиуса коррелируют с картами ошибок модели и могут использоваться для выявления проблемных областей, требующих разметки. Дополнительно проведено сравнение с альтернативными мерами неопределённости (энтропия предсказаний, margin sampling и произведение энтропии на гиперболический радиус); в экспериментах гиперболический радиус демонстрировал конкурентоспособные, а в ряде случаев — лучшие результаты.
Предложенное использование карт неопределённости позволяет значительно снизить объём ручной разметки за счёт приоритизации наиболее информативных зон. В дальнейших работах авторы планируют развивать полный пайплайн разметки микроскопических изображений аншлифов, включая предварительную цветокоррекцию изображений и интеграцию подхода в открытый Python-пакет petroscope.
Работа выполнена Олесей Индычко (аспирант ВМК МГУ), Александром Хвостиковым (старший научный сотрудник ВМК МГУ) и Дмитрием Коршуновым (научный сотрудник ГИН РАН) в рамках проекта РНФ 24-21-00061.