Нейросети для создания изображений и видео: почему их держат вместе

Нейросети для создания изображений и видео обычно ищут вместе, и это не случайность запроса. За ним стоит реальный рабочий конфликт: картинка и ролик нужны под одну задачу, а инструменты для них исторически разные.

Артём, продуктовый инженер. Откуда этот конфликт берётся и что с ним делают на практике.

Почему это две разные технологии

Картиночной модели надо собрать один кадр, и всё, что у неё есть, она тратит на него: фактуру, отражения, мелкий текст.

Видеомодель рисует двадцать четыре кадра в секунду и следит, чтобы каждый следующий сошёлся с предыдущим. На детали после этого остаётся немного.

Отсюда практическое следствие, которое многие узнают поздно: качество отдельного кадра в видео всегда ниже, чем у картинки, сделанной отдельно. Не потому что модель хуже, а потому что задача тяжелее.

Как из этого вырастает рабочая связка

Если кадр качественнее картинки, логично начинать с картинки.

Схема простая: сначала генерируется хороший статичный кадр, потом он подаётся на вход видеомодели, и та его оживляет. Подход называется image-to-video, разобран у нас подробно.

Что это даёт: контроль. Вы видите, что именно будет двигаться, до того как потратили дорогую видеогенерацию. Если на картинке товар кривой, в ролике он будет кривым и движущимся.

Обратный порядок, когда видео генерируется сразу текстом, оставляют для сцен, где конкретика не важна: фоны, абстракция, атмосфера.

Что ломается, если инструменты разные

Четыре шва, которые приходится чинить руками.

Разрешение режется на входе в видеомодель, и детали картинки пропадают.

Соотношение сторон не совпадает, и модель дорисовывает края.

Цвет уплывает между сервисами.

История теряется: промпт от картинки в одном месте, параметры ролика в другом, и через месяц повторить связку невозможно.

Ни одна из этих проблем не смертельная. Но каждая стоит минут, а на объёме минуты превращаются в дни.

Где именно режется разрешение, я до сих пор не понял: то ли сервис жмёт на входе, то ли сама модель так устроена. Мерил по скачанным файлам, точного ответа не нашёл.

Нейросети для создания изображений и видео: что брать под задачу

По нашему опыту на товарных материалах.

Кадр с предметом: Nano Banana, Seedream 5.0. Оживление этого кадра: Kling 3.0, он аккуратнее держит форму на движении.

Кадр со сценой и человеком: Imagen 4. Оживление: Hailuo, у него лучше физика тела и мимика.

Когда нужен звук прямо в генерации: Veo 3.1.

Когда надо быстро и много черновиков: Z-Image на картинках, Seedance 2.0 на видео.

У коллег порядок другой, и спорить с ними я не берусь. Но начинать с чего-то надо, и этот набор закрывает большинство товарных сцен.

Когда картинка не нужна

Не всегда связка оправдана.

Если сцена полностью выдуманная и конкретика неважна, текст в видео быстрее: одна генерация вместо двух.

Если исходник уже есть в виде живой съёмки, картинка лишняя, работать надо с видео напрямую.

И если задача в редактировании существующего ролика, убрать объект, сменить фон, тут вообще другой инструмент: Runway с его редактурой.

В Flami мы эти два этапа и не разделяли: кадр уходит в ролик без экспорта и без пережатия по дороге.

Часто задаваемые вопросы

Зачем нужны и картиночные, и видеомодели? Потому что задачи разные: одна рисует кадр, вторая следит, чтобы кадры не разъезжались. На товарных материалах они работают в связке: сначала кадр, потом его оживление.

Почему кадр из видео хуже, чем сгенерированная картинка? Силы видеомодели уходят на то, чтобы соседние кадры сошлись друг с другом. Поэтому отдельный кадр из ролика обычно проигрывает картинке, сделанной отдельно.

Что лучше: генерировать видео текстом или из картинки? Для конкретного товара из картинки: вы контролируете, что именно будет двигаться. Текстом удобно для абстрактных сцен, где точность предмета не важна.

Теряется ли качество при передаче кадра в видео? Да, видеомодели работают в своём разрешении и ужимают вход. Поэтому генерировать исходник в максимальном качестве ради ролика смысла немного.

Можно ли обойтись одной моделью для всего? Нет модели, которая одинаково хороша и в статике, и в движении. Практика такая: подбирать пару под задачу, а не искать универсальную.

Источники

1. Flami: image-to-video, оживить фото товара
2. Flami: чем модели отличаются друг от друга
3. Flami: агрегатор нейросетей для фото и видео