Нейросеть для видеомонтажа закрывает рутину, а не собирает ролик

Нейросеть для видеомонтажа звучит так, будто существует кнопка «собери ролик». Её нет. Есть набор отдельных инструментов, каждый из которых закрывает кусок рутины, и вместе они экономят примерно половину времени.

Что автоматизируется хорошо

Расшифровка речи. Звук превращается в текст, дальше по тексту можно резать видео как документ. Приём, который экономит больше всего.

Субтитры. Генерируются из расшифровки, остаётся поправить имена и термины.

Удаление пауз и слов-паразитов. Программа находит их сама и вырезает.

Чистка звука. Шум, гул помещения, щелчки убираются в один проход.

Стабилизация и цветокоррекция по образцу.

Вырезание фона без зелёного экрана.

Нейросеть для видеомонтажа: что не получается

Выбор кадра. Какой дубль лучше, решает человек, и пока никакая автоматика этого не заменила.

Ритм. Где склейка нужна раньше, а где стоит подержать план, слышно только человеку.

Смысл. Что важно в этом ролике и что можно выбросить, модель не знает.

Реакция на контекст. Шутка, пауза перед главной фразой, неожиданный переход.

Автоматическая нарезка длинного видео на короткие тоже работает средне: куски получаются формально правильными и скучными.

Рабочий порядок

Сначала расшифровка. Вы получаете текст всего материала.

Потом черновая сборка по тексту: выбрасываете лишнее прямо в расшифровке, видео режется следом.

Потом ручная доводка: ритм, склейки, акценты.

Потом автоматика на отделку: субтитры, чистка звука, цвет.

Именно в таком порядке. Если запустить автоматику до черновой сборки, вы будете чистить звук у кусков, которые потом выкинете.

Что проверять после автоматической обработки

Субтитры: имена, названия товаров и термины расшифровка путает регулярно.

Места склеек после удаления пауз: иногда программа режет вдох вместе со словом.

Звук после чистки: агрессивное шумоподавление съедает верх голоса.

Цвет после автоматической коррекции: кожа уходит в красноту чаще всего.

Сколько экономит автоматика

На получасовом исходнике расшифровка и черновая резка по тексту сокращают работу часа на полтора.

Субтитры вручную это минут сорок, автоматически минут пять с правкой.

Доводка не сокращается вовсе, и именно она занимает основное время.

Итог примерно такой: рутина сжимается вдвое, творческая часть остаётся как была.

Я держу автоматические субтитры включёнными всегда и всё равно перечитываю их целиком: имена и названия товаров расшифровка путает регулярно.

При этом за последний год качество заметно подросло, и ошибок стало меньше, чем я привык ожидать.

Про сборку ролика из отдельных кусков есть отдельный материал, про звук тоже.

Часто задаваемые вопросы

Может ли нейросеть смонтировать ролик целиком? Нет. Она закрывает рутину: расшифровку, нарезку по тексту, субтитры, чистку звука. Выбор кадров и ритм остаются за человеком.

Что экономит больше всего времени? Расшифровка речи и черновая резка по тексту: на получасовом материале это около полутора часов.

Насколько точны автоматические субтитры? Достаточно, чтобы не набирать вручную, но имена и названия товаров приходится править почти всегда.

В каком порядке работать? Расшифровка, черновая сборка по тексту, ручная доводка и только потом автоматическая отделка. Иначе вы обрабатываете куски, которые выбросите.

Что делать в первую очередь? Расшифровку: по тексту материал режется как документ, и это экономит больше всего времени.

Что не сокращается автоматикой? Доводка: ритм, склейки и акценты. Она и занимает основное время, а рутина сжимается примерно вдвое.

Источники

1. Flami: как сделать видео из нескольких фото
2. Flami: видео со звуком нейросетью
3. Flami: длина видео и тайм-код