Нажмите ENTER, чтобы посмотреть результаты поиска, или нажмите ESC для отмены.

Нейросеть YouTube научилась заменять фон на видео в реальном времени

Компания Google разработала алгоритм замены фона на видео с помощью нейросети. Алгоритм обрабатывает видеопоток и выдает отредактированную его версию в реальном времени. При этом он не требует больших вычислительных мощностей и способен работать даже на мобильных устройствах. Новая функция уже доступна части пользователей мобильного приложения YouTube.

Отделение фона — широко используемый метод, который позволяет кинорежиссерам и создателям видео отделять передний план сцены от фона и рассматривать их как два разных визуальных слоя. Модифицируя или заменяя фон, создатели видео могут передавать определенное настроение, переносить себя в самую разную обстановку и другими способами воздействовать на зрителя.

Тем не менее, эта операция традиционно выполнялась либо в формате трудоемкого ручного процесса, либо требовала студийной среды с зеленым экраном для удаления фона в реальном времени — хромакея. Чтобы создавать этот эффект в режиме реального времени, потребовалось создать принципиально новый метод, подходящий для мобильных телефонов.

Создатели технологии использовали машинное обучение для решения задачи семантической сегментации. За основу была взята архитектура сверточной нейросети, созданной как раз для сегментации изображений. Алгоритмы нейросети настроены на процедуру разделения видеоизображения на объект и фон. Для тренировки нейросети создатели загрузили в нее специально подготовленные шаблоны — снимки людей с отмеченными на них частями лица и дополнительными объектами: украшениями, элементами прически, очками.

В итоге разработчики получили нейросетевой алгоритм, способный обрабатывать видео с камеры смартфона в реальном времени. Новинка доступна части пользователей в режиме «историй» мобильного приложения YouTube.

Рекомендуем