Runway: удалить фон в видео и четыре разных способа это сделать

Когда человек говорит «Runway удалить фон видео», он обычно имеет в виду одну из четырёх разных задач. И выбор способа решает больше, чем выбор модели, потому что три из них дают совершенно разный результат при одинаковом исходнике.

Тип первый: вырезать объект на прозрачность

Нужно, когда ролик пойдёт в монтаж и фон будет подставляться позже.

Что происходит: модель отделяет объект от фона и отдаёт его с альфа-каналом, то есть с прозрачностью.

Где ломается: волосы, мех, прозрачные и полупрозрачные предметы, размытые в движении края. Стеклянная бутылка вырезается плохо почти всегда, потому что непонятно, где кончается она и начинается то, что через неё видно.

Совет из практики: снимайте с максимально контрастным фоном, даже если это не хромакей. Серый предмет на сером фоне не отделит никакая модель.

Тип второй: заменить фон сразу

Самый частый сценарий для товарного видео. Модель не вырезает объект, а пересобирает сцену целиком: товар остаётся, вокруг новое окружение.

Это работает лучше вырезания, потому что модель заодно подгоняет свет и тени под новый фон. Вырезанный объект, вставленный на чужой фон в монтаже, почти всегда выдаёт себя несовпадением освещения.

Формулировать надо конкретно: не «красивый фон», а что именно, откуда свет, какое время суток. Мы разбирали умения модели в обзоре Runway.

Тип третий: размыть

Недооценённый вариант. Если фон просто мешает, но менять его не нужно, размытие дешевле и надёжнее любой замены.

Никаких проблем с волосами и краями, никакого риска, что новая сцена окажется неправдоподобной.

Для карточки товара часто это лучший выбор: внимание уходит на предмет, а не на выдуманный интерьер за ним.

Тип четвёртый: пересобрать сцену с нуля

Когда исходное видео нужно только как основа движения, а всё остальное меняется.

Тут уже не удаление фона, а генерация нового ролика с опорой на старый. Дороже, дольше, результат менее предсказуем, но иногда только так.

Runway удалить фон видео: что проверять в результате

Короткий список, по которому я прохожу каждый раз.

Края объекта на паузе, покадрово. На скорости брак незаметен, на стопкадре виден.

Тени. Если объект отбрасывал тень на старый фон, она могла остаться и теперь висит в воздухе.

Отражения. То же самое: блик от старого окружения на глянцевой поверхности товара.

Дрожание границы. Типичная проблема: контур объекта слегка пляшет от кадра к кадру.

Цвет объекта. При замене фона модель иногда подкрашивает сам предмет под новое освещение сильнее, чем нужно, и товар меняет оттенок. Для карточки это критично.

Чего я бы не делал

Не стал бы вырезать фон у видео с человеком в развевающихся волосах и ждать чистого результата. Получится, но с ореолом.

Не стал бы менять фон на сложный интерьер с прямыми линиями: геометрия за движущимся объектом собирается плохо.

И не стал бы пытаться обработать длинный ролик целиком: модель работает фрагментами примерно до пяти секунд. Тот же принцип действует при удалении объектов.

Насчёт размытия я, возможно, перегибаю. Оно мне просто нравится, потому что ни разу не подводило, и я, кажется, недооцениваю замену фона из-за одного неудачного опыта.

Если исходника ещё нет и всё равно снимать, иногда проще сгенерировать сцену сразу правильной: кадр с нужным фоном, потом оживление. Модель доступна на странице Runway, а сама схема описана в материале про оживление фото.

Часто задаваемые вопросы

Как удалить фон в видео через Runway? Загрузить ролик и текстом описать задачу. Вариантов несколько: вырезать объект на прозрачность, заменить фон на другой, размыть его или пересобрать сцену целиком. Результат сильно зависит от выбранного способа.

Что лучше: вырезать объект или заменить фон? Для товарного видео обычно замена: модель подгоняет свет и тени под новое окружение. Вырезанный объект, вставленный на чужой фон вручную, чаще выдаёт себя несовпадением освещения.

Почему по краям объекта появляется ореол? Тонкие и полупрозрачные детали, особенно волосы и размытые в движении края, отделяются плохо. Помогает контрастный исходный фон и обработка короткими отрезками.

Нужен ли зелёный фон при съёмке? Не обязательно, но контраст между объектом и фоном сильно повышает качество отделения. Однотонный светлый или тёмный фон работает почти так же хорошо.

Источники

1. Flami: обзор Runway Aleph
2. Flami: Runway, убрать объект из видео
3. Flami: image-to-video, оживить фото товара