Нейросеть научилась оживлять фотографии (видео)

Разработчики анонсировали необычную технологию создания анимированных изображений с помощью ИИ-алгоритма. Фишкой нового метода стали низкие требования к количеству обучающего материала: чтобы сделать изображение лица «говорящим», нейросети достаточно единственного кадра.

Представленный разработчиками алгоритм основан на технологии машинного обучения, использующей статичные изображения для создания анимации. Ключевым отличием ИИ от аналогов стала возможность «предсказывать» изменение будущего кадра на основе определённых ключевых точек картинки. Для «оживления» фотографии нейросети хватает одного кадра, при увеличении же числа сэмплов точность мимики значительно возрастает.

После первичного обучения на готовых видеороликах компьютер прогнозирует, как изменится та или иная часть обрабатываемого лица при движении и определяет параметры отрисовки с учётом изученных ранее данных. Такой подход способен сгенерировать реалистичные модели «говорящих голов», а в перспективе может найти применение в различных отраслях, включая игровую и киноиндустрию.

Источник