ИИ создает фильмы по нескольким строчкам сценария

У сценаристов, которым отказали в Голливуде, появилась уникальная возможность: новый ИИ-алгоритм создает фильм по нескольким строчкам сценария. «Оскара» за такое кино вряд ли дадут, но применять технологию можно не только в индустрии развлечений. Например, ИИ сможет помогать свидетелям реконструировать происшествие.

Так называемый генеративный алгоритм создает изображения из меток. ИИ даже может предсказать по нескольким кадрам следующий. Но никто до сих пор не пытался собрать кадры вместе в последовательную историю, созданную на основе краткого сценария, пишет Science. «Насколько я знаю, это первое переложение текста в видео, которое дало такие хорошие результаты. Они не идеальны, но как минимум это начинает походить на настоящее видео», — говорит Тинне Туителаарс, специалист по информатике из бельгийского Левенского католического университета.

Нейронная сеть действует в два этапа, которые имитируют работу съемочной группы. Сначала с помощью текста создается основное содержание видео, по сути — размытое изображение фона с кляксой на том месте, где должно произойти главное действие. Во второй стадии с помощью текста и черновика видеоряда компьютер монтирует собственно фильм.

Вторая нейронная сеть при этом производит сравнение. Она видит фильм, который иллюстрирует, скажем, «плавание под парусом», и настоящее видео с яхтой и должна выбрать настоящее. Когда первая нейронная сеть справляется с задачей, вторая поднимает планку и начинает придираться еще более дотошно. Постепенно качество работы улучшается.

Пока таким образом удалось создать видеоролики всего по 32 кадра длиной и продолжительностью около секунды, а размером они с почтовую марку, 64×64 пикселя. Если сделать их больше, теряется точность, говорит Итун Ли, первый автор статьи, представленной на встрече американской Ассоциации по развитию искусственного интеллекта.

Источник