Набор данных МГУ помогает проверять качество экранного видео

Учёные МГУ представили набор данных для оценки качества экранного видео в системах видеоконференцсвязи и продемонстрировали, что методы оценки качества, показывающие высокую точность на обычных видео, имеют более низкую корреляцию с субъективными оценками при применении к экранному видео. Результаты работы опубликованы в материалах Международной конференции ACM Multimedia (ACM MM).

Проект подготовлен коллективом лаборатории компьютерной графики и мультимедиа факультета ВМК МГУ при участии сотрудников Центра искусственного интеллекта МГУ и лаборатории «Интеллектуальный анализ видео» Института искусственного интеллекта МГУ.

Экранный видеоконтент — презентации, программный код, таблицы и пользовательские интерфейсы — стал основным форматом коммуникации в дистанционной работе и онлайн-образовании. При этом большинство существующих метрик оценки качества видео разрабатывались для естественных сцен и не учитывают особенности экранного контента, включая резкие границы, мелкий текст и статичные области.

В новом исследовании сформирован набор данных, включающий 100 оригинальных экранных видеороликов и 1 600 искажённых версий. Искажения получены в реальных условиях — при передаче через сервисы видеоконференцсвязи с ограничением пропускной способности и потерями пакетов, а также при использовании стандартных видеокодеков. В данных представлены пропуски кадров, искажения сжатия и нестабильность во времени.

Отдельное внимание уделено задаче выравнивания кадров между оригинальными и искажёнными версиями. Реализована процедура сопоставления кадров, позволяющая корректно применять метрики качества с полной эталонной базой даже при наличии пропусков и рассинхронизации.

Для формирования субъективных оценок собрано более 120 000 парных сравнений от свыше 8 000 участников краудсорсингового тестирования. Итоговые ранги рассчитывались с использованием модели Брэдли-Терри.

«Мы стремились сформировать набор данных для экранного видео с искажениями, возникающими при реальной передаче через видеоконференции, а не синтетически добавленными», — отметил Николай Сафонов.

«Одна из целей данного проекта — сравнить популярные системы видеоконференцсвязи на предмет качества показа презентаций, документов, интерфейсов программ. Показ экрана — важная составляющая современных созвонов, для которой не существует на данный момент общепринятых метрик с высокой корреляцией с оценкой людей. Мы работаем над решением этой задачи и вместе с оценкой качества голоса планируем к концу этого года опубликовать рейтинг систем по качеству их работы в условиях проблем с качеством сетевого соединения», — дополнил Дмитрий Ватолин.

Авторы провели сопоставимую оценку современных метрик качества на экранном видеоконтенте и на наборе данных CVQAD, содержащем естественные сцены. Анализ показал, что многие алгоритмы, демонстрирующие высокую корреляцию с субъективными оценками на обычных видео, снижают точность при применении к экранному контенту. Это подтверждает наличие доменного разрыва между натуральными и экранным видео и необходимость дополнительной адаптации моделей.

Полученные результаты могут использоваться при разработке и тестировании алгоритмов оценки качества видео в системах видеоконференцсвязи и потоковых сервисах.