Видео под музыку нейросетью: почему картинка не попадает в такт

Видео под музыку нейросеть генерирует без привязки к ритму. Разбираем, как собрать ролик, который попадает в такт, и где это делается на самом деле.
Видео под музыку нейросеть не делает, и это главное, что стоит понять до начала. Она делает кусок движения заданной длины, а попадание в ритм создаётся на монтаже.
Почему модель не слышит музыку
Генератор видео работает с описанием сцены и движения. Звуковую дорожку он на вход не получает и о её ритме ничего не знает.
Даже там, где модель выдаёт звук вместе с картинкой, это её собственный звук, а не ваш трек.
Отсюда простое следствие: ритм задаёте вы, нарезая готовые куски.
Видео под музыку нейросеть: рабочий порядок
Сначала трек. Выбираете музыку и слушаете, где в ней смены: удары, вступление припева, паузы.
Потом раскадровка. Под каждый отрезок между смéнами придумываете, что в кадре.
Потом генерация. Каждый отрезок отдельным роликом, с запасом по длине секунды на полторы.
Потом сборка. Подрезаете так, чтобы склейка приходилась на удар.
Порядок именно такой. Если сгенерировать сначала и подбирать музыку потом, вы будете подгонять трек под случайные куски, а это почти всегда слышно.
Что генерировать под ритм
Быстрая часть трека: короткие планы, крупная деталь, резкое движение.
Медленная часть: длинный проезд камеры, раскрытие сцены, статичный кадр с лёгким движением.
Пауза в музыке: стоп-кадр. Простой приём, а работает безотказно.
Смена припева: смена локации или ракурса. Зритель ждёт перемены именно тут.
Как выбрать трек
Слушайте до того, как что-то снимать: под готовые куски музыку подбирают плохо.
Берите трек с явными сменами: они задают точки склейки.
Проверяйте длину: подрезать музыку под ролик легче, чем растягивать.
И проверьте, как он звучит на телефонном динамике: низы там пропадают, и часть треков превращается в шум.
Как размечать трек
Прослушайте один раз и отметьте, где меняется настроение.
Второй раз отметьте удары, на которые лягут склейки.
Третий раз проверьте паузы: они ценнее ударов, на них хорошо ложится стоп-кадр.
Разметка занимает пять минут и экономит час на сборке.
Про права на музыку
Тема, о которой вспоминают в последний момент.
Трек из чарта в коммерческий ролик брать нельзя: площадки снимают такие видео, а маркетплейсы блокируют карточки.
Варианты: библиотеки со свободной лицензией, встроенные библиотеки соцсетей для органических постов, сгенерированная музыка.
Последний вариант за год стал рабочим: модели для музыки дают приличный фон под товарный ролик, и вопрос лицензии снимается.
Впрочем, на слух я такую музыку узнаю примерно в половине случаев, и что с этим делать, пока не придумал.
Сборку я делаю в обычном редакторе, а куски гоню пачкой в Flami, чтобы не ждать по одному. Про длину и тайминг роликов есть отдельный материал.
Часто задаваемые вопросы
Может ли нейросеть сгенерировать видео под мою музыку? Нет, модель не получает звуковую дорожку и о ритме не знает. Попадание в такт создаётся при монтаже готовых кусков.
Как собрать ролик, который попадает в бит? Сначала выбрать трек и отметить смены в нём, потом сгенерировать куски с запасом по длине и подрезать склейки под удары.
Что снимать под быструю и медленную часть? Под быструю короткие планы и резкие движения, под медленную длинные проезды. На паузу в музыке хорошо ложится стоп-кадр.
Какую музыку можно использовать? Библиотеки со свободной лицензией, встроенные библиотеки соцсетей для органики или сгенерированную. Трек из чарта в коммерческом ролике приводит к блокировкам.
Куда ставить склейки? На удары и смены в треке. Для этого куски генерируют с запасом по длине и подрезают при сборке.
Источники
Об авторе
Павел Жуков
Обозреватель Flami
Читайте также