Google научила ИИ воссоздавать видео по двум кадрам

Нейросети уже научились самостоятельно анимировать статичные изображения и даже улучшать качество старых видеозаписей — но как выяснилось, на этом их возможности не заканчиваются.

Исследовательское подразделение Google по работе с искусственным интеллектом анонсировало новый алгоритм, способный «дорисовать» видеоряд на основе его первого и последнего кадров.

Разработанная сотрудниками поискового гиганта нейросеть состоит из трёх компонентов. Декодер двумерного изображения конвертирует входные данные в специальный формат для анализа, генератор скрытого трёхмерного представления обучается на основе полученной информации, а видеогенератор декодирует полученную информацию в новые кадры будущего видео.

Чтобы проверить работу технологии, разработчики сжали три набора кадров до разрешения 64×64 пикселя. Каждый образец содержал в общей сложности 16 кадров, 14 из которых предстояло создать искусственному интеллекту. Исследователи запускали алгоритм 100 раз для каждой пары исходных изображений, при этом обучение ИИ заняло около 5 дней с использованием видеокарты NVIDIA Tesla V100. В результате сгенерированные последовательности соответствовали заданным начальным и конечным кадрам и были похожи по стилю.

В перспективе, по словам разработчиков, алгоритм может стать полезным инструментом для генерации видео на основе минимального набора вводной информации.

Источник