Генерация видео по картинке: почему это надёжнее, чем по тексту

Генерация видео по картинке нейросеть делает точнее, чем по описанию: объект сохраняется. Разбираем требования к кадру и где связка ломается.
Генерация видео по картинке нейросеть выполняет иначе, чем по тексту, и разница принципиальная. По описанию модель придумывает объект с нуля. По изображению она берёт ваш и приводит его в движение.
Почему для товара это единственный рабочий режим
Описанный словами предмет получится похожим, но не тем. Этикетка поедет, пропорции сместятся, оттенок крышки станет другим.
Покупатель сверяет карточку с тем, что приехало, и расхождение оборачивается возвратом.
Поэтому цепочка на товарных задачах всегда одна: сначала хороший статичный кадр, потом его оживление.
Генерация видео по картинке нейросетью: требования к кадру
Резкость. Размытый снимок модель достроит по-своему.
Объект целиком. Обрезанный предмет она дорисует, и дорисует неточно.
Ровный свет. Жёсткие тени модель иногда принимает за часть формы.
Соотношение сторон под задачу. Вертикаль для соцсетей генерируется сразу вертикальной, обрезка режет композицию.
Разрешение с запасом, но без фанатизма: видеомодели работают в своём и ужимают вход, так что 4K ради ролика бессмысленно.
Где связка ломается
Разрешение режется на входе, и детали пропадают. Это нормальная плата, но знать о ней стоит.
Прозрачность в PNG заливается чёрным или белым, и появляется рамка.
Цветовой профиль теряется при переносе между сервисами, и оттенок уплывает.
Тени на исходнике превращаются в объёмные объекты, если свет был жёстким.
Какую модель брать
Предмет, где важна форма: Kling 3.0.
Человек в кадре: Hailuo, там естественнее пластика.
Несколько исходных кадров в одной сцене: Seedance 2.0.
Со звуком в одном проходе: Veo 3.1 или Grok Imagine.
Я обычно прогоняю кадр через две модели и смотрю, у кого предмет остался собой к последней секунде. Это быстрее, чем читать сравнения.
Сколько движения просить
Меньше, чем хочется. Медленный наезд и лёгкий проезд дают стабильный результат, облёт камерой повышает шанс искажений.
Движение среды работает лучше движения камеры: пар над кружкой, качнувшаяся ткань, блик на металле.
Насчёт этого правила я иногда сам себе изменяю, прошу больше динамики ради эффектности, и почти всегда возвращаюсь к скучному варианту.
Часто задаваемые вопросы
Чем генерация по картинке лучше, чем по тексту? Сохраняется конкретный объект. По описанию модель нарисует похожий предмет, а для карточки товара это провал.
Какое изображение подавать на вход? Резкое, с объектом целиком, при ровном свете, сразу в нужном соотношении сторон.
Теряется ли качество? Да, видеомодели ужимают вход под своё разрешение. Поэтому генерировать исходник в максимальном качестве ради ролика смысла мало.
Какое движение выбрать? Минимальное: наезд, лёгкий проезд, движение среды. Облёт камерой чаще искажает предмет, чем украшает кадр.
Сколько попыток закладывать? Три-четыре на простое движение и до восьми на сложное. Разброс в видео выше, чем в статичных кадрах.
Почему ролик выходит дёрганым? Обычно просят слишком много движения. На статичном исходнике устойчиво работает только лёгкая динамика.
Источники
Об авторе
Артём Соколов
Обозреватель Flami