MegaPortraits: дипфейки высокого разрешения, созданные из одной фотографии

Исследователи из Samsung Labs разработали способ создания аватаров высокого разрешения из одной неподвижной фотографии или даже картины. По словам команды, получившей название MegaPortraits, они могут создавать аватары размером в мегапиксель из простых кадров. Их достижения решили особенно сложную проблему, когда внешний вид анимированного изображения существенно отличается от исходного. Новый метод решает эту проблему и позволяет любому создавать реалистичные аватары.

«Мы предлагаем набор новых нейронных архитектур и методов обучения, которые могут использовать как видеоданные среднего разрешения, так и данные изображения высокого разрешения для достижения желаемых уровней качества визуализированного изображения и обобщения новых видов и движения», — заявляют исследователи в своем отчете.

«Мы показываем, что предлагаемые архитектуры и методы создают убедительные нейронные аватары с высоким разрешением, превосходящие конкурентов».

Система создания человеческих аватаров с высоким разрешением называется мегапиксельными портретами, или сокращенно мегапортретами. Исследователи объясняют, что модель обучается в два этапа, но они также предложили третий дополнительный этап, позволяющий ей работать быстрее.

«Наша система обучения относительно стандартна. На каждом шаге мы выбираем два случайных кадра из нашего набора данных: исходный кадр и кадр драйвера. Наша модель накладывает движение управляющего кадра (то есть позу головы и выражение лица) на внешний вид исходного кадра для создания исходящего изображения», — объясняет команда.

Возможно, еще более впечатляет то, что команде удалось заставить эту чрезвычайно эффективную систему работать в режиме реального времени.

Многочисленные результаты показали эффективность работы программы MegaPortraits.