Липсинк нейросеть губ держит недолго, и вот почему

Липсинк нейросеть губ держит несколько секунд, потом речь и артикуляция расходятся. Разбираем причины, рабочие обходы и когда проще смонтировать.
Липсинк нейросеть губ делает убедительно ровно до того момента, пока реплика короткая. Дальше начинается знакомое: звук идёт своим темпом, рот своим, и зритель это замечает раньше, чем успевает понять, что не так.
Что происходит технически
Модель сопоставляет звуковую дорожку с формой рта покадрово. На коротком отрезке ошибка накапливается незаметно.
Чем длиннее реплика, тем больше накопленное расхождение. К четвёртой-пятой секунде оно доходит до величины, которую глаз различает.
Русская речь усложняет задачу: обучающие данные в основном англоязычные, а раскладка звуков по губам у языков разная.
Липсинк нейросеть губ: что помогает
Короткие реплики. Три-четыре секунды это рабочий отрезок, дальше риск растёт.
Средний план вместо крупного. На крупном рот занимает половину кадра, и любая неточность видна.
Речь без скороговорок и без длинных пауз внутри фразы: и то и другое сбивает сопоставление.
Чистая дорожка без музыки и шума на входе. Фон модель тоже пытается интерпретировать.
Несколько попыток: разброс здесь выше, чем в обычной генерации видео.
Обход через монтаж
Практичный порядок, которым я пользуюсь чаще всего.
Разбить текст на фразы по три-четыре секунды.
Сгенерировать каждую отдельно.
Склеить, вставив между фразами перебивки: план товара, деталь, движение камеры.
Перебивка не просто маскирует стык, она ещё и обнуляет накопленную ошибку.
Минус очевидный: это уже монтаж, а не одна генерация, и времени уходит больше.
Как выбрать фразы для нарезки
Режьте по смыслу, а не по длине: фраза должна быть законченной мыслью.
Избегайте скороговорок и перечислений через запятую: на них артикуляция сбивается раньше.
Не начинайте фразу с согласного скопления: первые кадры и так самые шаткие.
Оставляйте в конце каждой фразы полсекунды тишины: на монтаже это место для склейки.
Когда липсинк вообще не нужен
Для товарного ролика говорящая голова редко обязательна. Голос за кадром поверх видео товара решает ту же задачу и делается за минуты.
Для карточки маркетплейса тем более: там смотрят на товар, а не на ведущего.
Липсинк оправдан, когда в кадре важен именно человек: отзыв, обращение, обучающий формат.
Тут я не уверен до конца. Я встречал ролики, где рассинхрон в полкадра никто из зрителей не заметил, и до сих пор не понимаю, почему в одних случаях это режет глаз, а в других нет.
Часто задаваемые вопросы
Почему губы расходятся с речью? Ошибка сопоставления звука и артикуляции накапливается по ходу реплики. На коротком отрезке она незаметна, к четвёртой-пятой секунде становится видна.
Сколько секунд держится синхронность? Обычно три-четыре секунды. На такие фразы и режут текст, а длинный ролик собирают из кусков.
Почему на русском хуже, чем на английском? Обучающие данные в основном англоязычные, а соответствие звуков форме рта у языков разное.
Чем заменить липсинк в товарном ролике? Голосом за кадром поверх видео товара. Для карточки это работает не хуже, а делается в разы быстрее.
Какой план брать для говорящего кадра? Средний. На крупном рот занимает половину кадра, и любая неточность артикуляции становится заметной.
Зачем нужны перебивки между фразами? Они не только маскируют стык, но и обнуляют накопленное расхождение звука с артикуляцией.
Источники
Об авторе
Павел Жуков
Обозреватель Flami