Нажмите ENTER, чтобы посмотреть результаты поиска, или нажмите ESC для отмены.

ИИ научился создавать фильмы по нескольким строчкам сценария

Сценаристы, которым недоступны большие бюджеты и огромные ресурсы крупных киностудий, вскоре могут получить еще один вариант воплотить свои идеи в жизнь. Сделать это им поможет новый алгоритм, который способен генерировать видео на основе всего лишь нескольких строчек сценария. Эти фильмы пока далеки от того, чтобы претендовать на Оскар, но подобная техника может однажды найти использование и в более серьезных вещах: скажем, помогая свидетелю восстановить автомобильную катастрофу или преступление.

Так называемые «генерирующие» алгоритмы создают изображение на основе смысловых маркеров. Некоторые могут даже взять один кадр фильма и предсказать следующую серию кадров. Но все вместе — создание изображения из текста в точном соответствии написанному — сделано авторами алгоритма впервые.

Новый алгоритм представляет собой форму машинного обучения на основе нейронной сети. Во время обучения программное обеспечение оценивает свою производительность после каждой попытки, а обратная связь распространяется через миллионы сетевых подключений для уточнения будущих вычислений.

Алгоритм работает в два этапа. На первом этапе из описания создается черновой вариант видео, состоящий из размытого изображения фона с «кляксой» на месте основного действия. Второй этап заключается в создании финального варианта короткого ролика на основе сценария и черновика.

Пока изображение напоминает зернистое видео с видеокассет: его разрешение всего 64 на 64 точек, а продолжительность — 32 кадра, около 1 секунды.

«Насколько я знаю, это первая работа с текстом, которая дает такие хорошие результаты. Они не идеальны, но по крайней мере, они начинают выглядеть как настоящие видеоролики», — говорит бельгийский специалист по информатике Тинн Туйтелаарс.

Рекомендуем