Runway: убрать объект из видео и не получить кисель на его месте

Runway убрать объект из видео умеет с 2025 года, и это до сих пор одна из немногих задач, где нейросеть честно экономит часы. Раньше на удаление провода из кадра уходил вечер ротоскопа, теперь запрос в строке и минута ожидания.

Как оно устроено внутри, коротко

Модель не замазывает объект, а пересобирает участок кадра, опираясь на то, что видит вокруг и в соседних кадрах. Чем больше у неё информации о том, что находится за объектом, тем правдоподобнее результат.

Отсюда простое правило, из которого следует всё остальное: чем дольше объект движется по кадру, тем лучше он удаляется. Камера или предмет сдвинулись, модель увидела, что за ним, и восстановила фон по реальным данным.

Если объект стоит неподвижно весь ролик и закрывает собой часть сцены, восстанавливать не из чего, и модель начинает выдумывать.

Чек-лист: когда получится чисто

Объект или камера двигаются. Фон за объектом хотя бы раз показался. Лучший случай.

Фон простой и однородный. Стена, стол, небо, размытый задний план. Тут промахнуться почти невозможно.

Объект небольшой. Провод, стакан, случайный прохожий вдалеке.

Нет пересечений с важным. Объект не перекрывает лицо, руки или ваш товар.

Ролик короткий. Это не пожелание, а ограничение: Aleph берёт фрагменты примерно до пяти секунд за проход. Длинное надо резать и сводить.

Когда Runway убрать объект из видео не поможет

Объект статичен и крупен. Модель дорисовывает фон с нуля, и в этом месте появляется характерная каша: размытая зона, которая живёт своей жизнью.

За объектом сложная геометрия. Полки, плитка, решётка, текст на стене. Восстановление прямых линий и повторяющихся узоров даётся плохо, и стык видно.

Объект отбрасывает тень или отражается. Уберёте предмет, останется его тень. Это частая история, которую замечают уже после экспорта.

Объект соприкасается с человеком. Руки, держащие предмет, после удаления предмета остаются держать воздух в неестественной позе.

Я на паре роликов пробовал вытащить бутылку из руки модели. Каждый раз получалась рука, сжимающая пустоту так, что лучше бы я оставил бутылку.

Как делать, чтобы вышло с первого раза

Указывать объект точно. Не «убери лишнее», а что именно и где: провод в левом нижнем углу, человек в красной куртке на заднем плане.

Сразу говорить про тень и отражение. Если они есть, называйте их отдельно, иначе останутся.

Резать ролик на куски заранее, а не надеяться, что модель проглотит целиком. Она не проглотит.

Сначала пробовать на низком разрешении. Если на черновике вышло плохо, в высоком лучше не станет, а деньги спишутся.

Проверять на паузе покадрово в проблемном месте. На скорости брак не виден, а зритель его поймает.

Что ещё умеет та же модель

Удаление это одна из функций редактирования, и часто задача решается не им.

Замена фона целиком бывает проще, чем вычистка одного предмета: модель пересобирает сцену, а не латает дырку.

Смена света и времени суток, если мешает не объект, а тень от него.

Полный список и тесты мы разбирали в обзоре Runway, а сама модель доступна на странице Runway в Flami.

Отдельно: если объект мешает на статичном кадре, а не в видео, дешевле убрать его на картинке и потом оживить. Генерация картинки стоит в разы меньше, схема описана здесь.

Часто задаваемые вопросы

Как убрать объект из видео в Runway? Загрузить ролик и текстом описать, что именно убрать, указав положение объекта в кадре. Модель пересобирает участок, опираясь на соседние кадры, а не замазывает его.

Почему на месте объекта получается размытое пятно? Значит, модели неоткуда было взять фон: объект не двигался и всё время закрывал одну и ту же область. В таких случаях проще заменить фон целиком, чем вычищать предмет.

Остаётся ли тень от удалённого объекта? Часто да, если про неё не сказать отдельно. Тень и отражение стоит называть в запросе прямо, иначе они останутся и выдадут правку.

Можно ли убрать человека из кадра? Если он небольшой, двигается и не перекрывает главное, обычно да. Крупный статичный человек на переднем плане удаляется плохо.

Что делать, если объект убрался, а тень осталась? Прогнать второй проход с прямым указанием на тень. Одним запросом это обычно не решается, и второй проход тут нормальная часть работы.

Источники

1. Flami: обзор Runway Aleph
2. Flami: разбор Runway Gen-4.5
3. Flami: image-to-video, оживить фото