Нейросеть видео из текста строит сцену с нуля, и это её главный риск

Нейросеть видео из текста собирает сцену с нуля по описанию. Разбираем, что модель понимает из текста, что додумывает и когда лучше начать с картинки.
Нейросеть видео из текста строит сцену с нуля: никакого исходника, только ваше описание. Это самый свободный режим и одновременно самый непредсказуемый, потому что всё, чего вы не сказали, модель придумает сама.
Что модель берёт из текста
Объекты. Что находится в кадре.
Движение. Кто и как перемещается, куда едет камера.
Обстановку. Где происходит дело, какое время суток.
Настроение. Через слова о свете, погоде, темпе.
Всё остальное достраивается: конкретная форма предметов, цвета, которых вы не назвали, фон, детали.
Нейросеть видео из текста: чего ждать не стоит
Точного товара. Если у вас конкретный продукт, из текста он не появится: получится похожий предмет, а не ваш.
Русских надписей в кадре.
Длинного связного сюжета. Модель делает отрезок в несколько секунд, а не сцену с развитием.
Устойчивого лица персонажа между кадрами. Каждая генерация лепит человека заново.
Отсюда простое правило: для товара начинайте не с текста, а с фотографии, схема разобрана в материале про оживление кадра.
Как писать описание
Одно действие на ролик. Не «товар вращается, потом камера отъезжает, потом появляется упаковка», а что-то одно.
Камера отдельной фразой: статично, медленный наезд, облёт, проезд вдоль.
Свет отдельной фразой.
Запрет на лишнее: людей, надписи, посторонние предметы модель добавляет охотно.
Длина описания разумная: три-четыре фразы работают лучше, чем абзац. Из длинного текста модель выхватывает не то, что вам важно.
Когда текстовый режим уместнее
Абстрактная заставка или фон под титры.
Сцена, которой у вас физически нет: производство, склад, экзотическая локация.
Атмосферная перебивка между кадрами товара.
Проверка идеи до съёмки: быстрее посмотреть, как выглядит замысел, чем описывать его словами коллегам.
Я в товарных задачах текстовый режим использую в основном для перебивок, а главный кадр почти всегда строю от фотографии. Хотя коллега делает наоборот и получает результат не хуже, так что это скорее привычка, чем правило.
Часто задаваемые вопросы
Что нейросеть берёт из текстового описания? Объекты, движение, обстановку и настроение. Всё, что не названо, она достраивает сама, и именно там появляются сюрпризы.
Можно ли так показать свой товар? Нет, из текста появится похожий предмет, а не ваш. Для конкретного товара ролик строят от фотографии.
Какой длины должно быть описание? Три-четыре фразы. Из длинного абзаца модель выхватывает не то, что важно вам.
Для чего текстовый режим подходит лучше всего? Для заставок, атмосферных перебивок и сцен, которых у вас нет физически: производства, склада, дальней локации.
Почему из текста не получится ваш товар? Модель строит похожий предмет по описанию. Для конкретного товара ролик собирают от фотографии.
Источники
Об авторе
Артём Соколов
Обозреватель Flami