Оживить фото со звуком: что именно складывается в такой ролик
Оживить фото со звуком нейросеть в один проход обычно не может: движение и аудио делаются отдельно. Разбираем сборку и что получается на выходе.
Оживить фото со звуком нейросеть в один проход обычно не берётся: движение и аудио это разные задачи и чаще всего разные модели. На выходе вы всё равно получаете то, что хотели, просто путь состоит из трёх шагов.
Три слоя такого ролика
Движение. Из статичного кадра получается несколько секунд видео: лёгкое смещение камеры, оживший объект, моргание на портрете.
Голос. Речь, синтезированная из текста, или ваша запись.
Фон. Атмосфера, эффекты или музыка.
Некоторые модели дают первое и третье сразу, что именно получается, разбирали отдельно. Голос почти всегда добавляется отдельно.
Оживить фото со звуком нейросеть помогает так
Шаг первый: анимируем снимок. Просим лёгкое движение, а не бурную динамику: на длинном движении кадр разваливается.
Шаг второй: готовим звук. Текст прогоняем через синтез речи, про подбор голоса есть материал.
Шаг третий: собираем. Подкладываем голос под видео, добавляем фон, выравниваем громкость.
Весь путь занимает минут двадцать при готовом тексте.
Если человек на фото должен говорить
Это отдельный случай, и он сложнее.
Тут нужна синхронность губ с речью, а она держится на коротких репликах и разваливается на длинных.
Порядок другой: сначала звук, потом генерация под него, механика описана здесь.
Для товарных задач такое нужно редко: голос за кадром решает ту же задачу проще.
Чего от такого ролика ждать не стоит
Совпадения звука с движением в кадре. Если товар на видео поворачивается, шороха ровно в этот момент не будет: его надо ставить вручную.
Долгого ролика. Устойчивое движение из одного кадра длится несколько секунд, дальше картинка плывёт.
Эмоционального прочтения текста. Синтез даёт ровную интонацию.
Готового результата с первой попытки. Обычно уходит три-четыре подхода только на движение.
Я собираю такие ролики в двух случаях: когда есть один хороший снимок и нет возможности переснять, и когда нужна перебивка между кадрами товара.
Могу и ошибаться: половину из них я потом заменяю обычным статичным кадром с текстом, потому что движение оказывается лишним.
Часто задаваемые вопросы
Можно ли оживить фото со звуком за один проход? Обычно нет. Движение и голос делаются разными инструментами и собираются вместе в монтаже.
Сколько времени занимает такой ролик? Около двадцати минут при готовом тексте: анимация кадра, синтез речи и сборка.
Что делать, если человек на фото должен говорить? Сначала готовить звук, потом генерировать движение под него. Синхронность держится только на коротких репликах.
Какой длины получается ролик? Несколько секунд устойчивого движения из одного кадра. Дальше картинка начинает плыть.
Почему звук не совпадает с движением в кадре? Модель подбирает звук по содержанию сцены, а не по моменту действия. Точное совпадение ставится вручную.
Источники
Об авторе
Артём Соколов
Обозреватель Flami