Нейросеть оживить фотографию: разбор на трёх типах снимков

Нейросеть оживить фотографию может по-разному: портрет, товар и пейзаж ведут себя не одинаково. Разбираем каждый случай и типичные промахи.
Нейросеть оживить фотографию берётся одинаково охотно в любом случае, а результат выходит очень разный. Портрет, товар и пейзаж ведут себя по своим законам, и понимать это лучше до того, как потратите десяток попыток.
Тип первый: портрет
Что получается: моргание, лёгкий поворот головы, движение волос. Спокойные микродвижения, от которых снимок будто дышит.
Что ломается: сильная эмоция. Просьба «пусть засмеётся» почти всегда даёт другого человека, потому что модель перестраивает лицо.
Правило простое: чем меньше эмоции вы просите, тем больше сходства сохраняется.
Тип второй: товар
Что получается: медленный наезд, проезд камеры, движение среды вокруг предмета, пар, блик, качнувшаяся ткань.
Что ломается: форма предмета при активном движении. На карточке это критично, потому что покупатель сверит вещь с роликом.
Для предметов стабильнее Kling 3.0, он аккуратнее держит силуэт до последней секунды.
Нейросеть оживить фотографию: тип третий, пейзаж и интерьер
Самый благодарный случай. Облака плывут, вода движется, свет меняется, и никто не сверяет результат с реальностью.
Что ломается: прямые линии архитектуры начинают гулять, если попросить сильное движение камеры.
Здесь можно позволить больше динамики, чем в двух других случаях.
Что общего у всех трёх
Исходник решает больше, чем модель. Резкий снимок при ровном свете, объект целиком в кадре.
Минимальное движение надёжнее эффектного. Облёт камерой звучит красиво и разваливает кадр чаще, чем украшает.
Три-четыре подхода на приемлемый результат это норма, а не признак кривого запроса.
Про соотношение сторон: генерируйте сразу в том, в котором будете публиковать. Обрезка готового ролика режет композицию.
Оговорюсь про пейзажи: я почти не работаю с ними в задачах, и мой опыт тут тоньше, чем с предметкой. Возможно, там свои грабли, которых я не вижу.
Часто задаваемые вопросы
Какие фотографии оживают лучше всего? Пейзажи и интерьеры: там движение среды выглядит естественно и никто не сверяет результат с оригиналом. Сложнее всего портреты с сильной эмоцией.
Почему человек на видео получается непохожим? Чаще всего из-за просьбы о широкой улыбке или смехе: модель перестраивает лицо. Спокойное движение сохраняет сходство гораздо лучше.
Что делать, если товар меняет форму? Просить меньше движения и брать модель, которая аккуратнее держит предмет. Активный облёт камерой почти всегда искажает силуэт.
Сколько попыток нужно? Обычно три-четыре. Это нормальная часть работы, её стоит закладывать в расчёт заранее.
Сколько длится устойчивое движение? Несколько секунд. Дальше картинка начинает плыть независимо от типа исходного снимка.
Какой тип снимка оживает убедительнее всего? Тот, где движение минимально и объяснимо: лёгкое дыхание на портрете, поворот камеры вокруг предмета.
Источники
Об авторе
Марина Лебедева
Обозреватель Flami