MegaPortraits: дипфейки высокого разрешения, созданные из одной фотографии

 23.07.2022 1343 Технологии 0

Исследователи из Samsung Labs разработали способ создания аватаров высокого разрешения из одной неподвижной фотографии или даже картины. По словам команды, получившей название MegaPortraits, они могут создавать аватары размером в мегапиксель из простых кадров. Их достижения решили особенно сложную проблему, когда внешний вид анимированного изображения существенно отличается от исходного. Новый метод решает эту проблему и позволяет любому создавать реалистичные аватары.

«Мы предлагаем набор новых нейронных архитектур и методов обучения, которые могут использовать как видеоданные среднего разрешения, так и данные изображения высокого разрешения для достижения желаемых уровней качества визуализированного изображения и обобщения новых видов и движения», — заявляют исследователи в своем отчете.

«Мы показываем, что предлагаемые архитектуры и методы создают убедительные нейронные аватары с высоким разрешением, превосходящие конкурентов».

Система создания человеческих аватаров с высоким разрешением называется мегапиксельными портретами, или сокращенно мегапортретами. Исследователи объясняют, что модель обучается в два этапа, но они также предложили третий дополнительный этап, позволяющий ей работать быстрее.

«Наша система обучения относительно стандартна. На каждом шаге мы выбираем два случайных кадра из нашего набора данных: исходный кадр и кадр драйвера. Наша модель накладывает движение управляющего кадра (то есть позу головы и выражение лица) на внешний вид исходного кадра для создания исходящего изображения», — объясняет команда.

Возможно, еще более впечатляет то, что команде удалось заставить эту чрезвычайно эффективную систему работать в режиме реального времени.

Многочисленные результаты показали эффективность работы программы MegaPortraits.


Теги:MegaPortraits

Читайте также:
Комментарии
avatar