Convertir foto en video con sonido: así funciona de verdad

Convertir una foto en un video con sonido casi nunca ocurre en una sola pasada. El movimiento y el audio son dos tareas separadas, cada una a cargo de un modelo distinto. De todas formas llegas a lo que buscabas, solo que en tres pasos en vez de uno.

Las tres capas de un clip así

Movimiento. Una foto fija se convierte en unos segundos de video: un leve desplazamiento de cámara, un objeto que cobra vida, un parpadeo en un retrato.

Voz. Habla generada a partir de texto, o tu propia grabación.

Ambiente. Sonido de fondo, efectos o música.

Algunos modelos entregan movimiento y ambiente en un solo paso, y ya vimos cómo funciona eso en otro artículo. La voz casi siempre se superpone después.

Cómo hacerlo en la práctica

Primero animas la imagen fija. Pide un movimiento sutil, no una acción marcada: si lo estiras demasiado el cuadro se deforma.

Luego preparas el audio. Pasas tu guion por un generador de voz a partir de texto. Hay una guía aparte sobre cómo elegir la voz correcta.

Al final armas todo: colocas la voz debajo del video, agregas sonido de ambiente y ajustas los niveles.

Con el guion ya escrito, todo el proceso toma unos veinte minutos.

Cuando la persona de la foto tiene que hablar

Este caso es distinto y más difícil.

La sincronía labial tiene que coincidir con el habla, y eso solo se sostiene en frases cortas. Si alargas el clip, la sincronía labial empieza a fallar.

Aquí el orden se invierte: primero el audio, después se genera el movimiento para que encaje con él. Los detalles están en esta guía.

Para contenido de producto esto casi nunca hace falta. Una locución en off da el mismo resultado con bastante menos complicación.

Qué no esperar de un clip así

Sonido ajustado al milímetro con lo que pasa en pantalla. Si un producto gira en el cuadro, no vas a tener un efecto justo en el momento del giro. Eso hay que colocarlo a mano.

Una duración larga. El movimiento estable a partir de una sola imagen aguanta unos segundos, después la imagen empieza a deformarse.

Una entonación expresiva. La voz generada por texto suena pareja, sin matices.

Un resultado final a la primera. Solo ajustar el movimiento suele llevar tres o cuatro intentos.

Yo recurro a este formato en dos situaciones: cuando tengo una sola foto buena y no hay forma de repetir la toma, y cuando necesito un clip de transición entre fotos de producto.

Puedo estar equivocado en esto, pero termino cambiando la mitad de estos clips por una imagen fija con texto superpuesto, porque el movimiento no aporta nada real.

Preguntas frecuentes

¿Se puede animar una foto con sonido en un solo paso? Por lo general no. El movimiento y la voz salen de herramientas distintas y se combinan después en edición.

¿Cuánto se tarda en hacer un clip así? Unos veinte minutos si el guion ya está listo: animar la imagen, generar la voz y armar todo junto.

¿Y si la persona de la foto tiene que hablar? Primero se genera el audio, después el movimiento para que coincida con él. La sincronía labial solo funciona bien en frases cortas.

¿Cuánto puede durar el clip final? Unos segundos de movimiento estable a partir de una sola imagen. Después de eso la imagen se empieza a deformar.

¿Por qué el sonido no coincide exactamente con el movimiento del cuadro? El modelo elige el sonido según lo que hay en la escena, no según el momento exacto de una acción. La sincronía precisa hay que agregarla a mano.

Fuentes

1. Flami: video con IA y sonido
2. Flami: foto que habla con IA
3. Flami: texto a voz con voz femenina