Оживить лицо на фото нейросеть берётся охотно, а результат колеблется

Оживить лицо на фото нейросеть берётся охотно, а результат колеблется от убедительного до пугающего. Разница почти целиком в исходнике и в том, насколько сильное движение вы попросили.

Что происходит с портретом

Модель строит по снимку упрощённую подвижную модель лица: веки, брови, рот, наклон головы.

Дальше она двигает эту модель по заданному сценарию: моргание, лёгкая улыбка, поворот.

Пиксели вокруг подтягиваются следом. Волосы, уши и воротник при этом часто ведут себя странно, потому что для них отдельной модели нет.

Требования к снимку

Анфас или почти. Профиль модель развернуть не может.

Глаза открыты и видны. Закрытые глаза дают самый неприятный результат.

Резкость на лице. Мелкий или мыльный снимок в движении разваливается.

Ровный свет. Глубокая тень на половине лица при повороте головы остаётся на месте и выглядит как пятно.

Одно лицо в кадре. Групповой снимок обрабатывается непредсказуемо.

Оживить лицо на фото нейросеть может по-разному

Минимальное движение: моргание и лёгкое дыхание. Самый надёжный вариант, почти всегда убедительный.

Мимика: улыбка, поднятые брови. Держится хуже, особенно на пожилых лицах.

Поворот головы: работает на несколько градусов, дальше начинает деформировать черты.

Речь с синхронными губами: отдельная задача со своими ограничениями, она разобрана здесь.

Правило простое: чем меньше движения вы просите, тем достовернее выходит.

Что делать с семейным архивом

Сканируйте, а не переснимайте: скан даёт разрешение, которого хватит на обработку.

Держите оригинал отдельно и не заменяйте его обработанной версией.

Подписывайте файлы: кто на снимке, какой год, откуда. Через десять лет это ценнее качества картинки.

И спрашивайте старших: они помнят детали, которые модель всё равно выдумает по-своему.

Что делать с оживлённым портретом

Сохраняйте исходный снимок отдельно: оживлённая версия это новый файл, а не улучшенный старый.

Подписывайте такие файлы, чтобы через годы было понятно, что это обработка.

Не публикуйте без оговорки, если человек на снимке узнаваем.

И спрашивайте семью, прежде чем показывать где-то оживлённый портрет близкого: реакция бывает противоположной у людей из одного дома.

Где стоит остановиться

Чужое лицо без согласия человека обрабатывать нельзя. Это не только про закон: это про то, как вы выглядите, если такое всплывёт.

Портрет умершего человека это личное дело семьи, и однозначного ответа тут нет. Я такое делала и знаю, что реакция бывает противоположной у людей из одной семьи.

Публичная персона в рекламе без согласия это прямой конфликт, про права на сгенерированное есть отдельный материал.

Сгенерированный персонаж, который не похож на реального человека, свободен от всех этих вопросов, и для коммерческих задач это самый спокойный путь.

Хотя грань между «не похож» и «похож» тоньше, чем кажется, и я несколько раз ловила себя на мысли, что сгенерированное лицо кого-то напоминает.

Часто задаваемые вопросы

Какой снимок нужен? Анфас, с открытыми глазами, резкий, при ровном свете и с одним лицом в кадре.

Какое движение получается лучше всего? Минимальное: моргание и лёгкое дыхание. Чем сильнее просимое движение, тем выше риск деформации.

Почему волосы и уши ведут себя странно? Подвижную модель строят по чертам лица, а окружающие области просто подтягиваются следом.

Можно ли оживить чужое фото? Только с согласия человека. Для коммерческих задач надёжнее использовать сгенерированного персонажа.

Почему закрытые глаза дают плохой результат? Модель строит подвижную схему по видимым чертам. Без открытых глаз она додумывает их форму, и лицо получается чужим.

Источники

1. Flami: говорящее фото нейросеть
2. Flami: нейросеть оживит фотографию
3. Flami: авторские права на AI-видео