Le lip sync IA tient quelques secondes, puis ça décroche

Le lip sync IA est bluffant pendant les premières secondes. Puis la réplique s'allonge, et voilà ce qui arrive : la bande son garde son tempo, la bouche garde le sien, et le spectateur sent que quelque chose cloche avant même de savoir quoi.

Ce qui se passe sous le capot

Le modèle associe la piste audio à des formes de bouche, image par image. Sur un clip court, l'erreur reste invisible.

Plus la réplique est longue, plus le décalage s'accumule. Vers la quatrième ou cinquième seconde, l'écart devient assez net pour sauter aux yeux.

Les langues autres que l'anglais compliquent encore la tâche. Les données d'entraînement penchent lourdement vers l'anglais, et la correspondance entre sons et formes de bouche varie beaucoup d'une langue à l'autre.

Ce qui aide vraiment

Les répliques courtes fonctionnent mieux. Trois à quatre secondes, c'est la zone sûre ; au-delà, le risque grimpe vite.

Filmez en plan moyen, pas en gros plan. Sur un cadrage serré, la bouche occupe la moitié de l'image, et le moindre décalage saute aux yeux.

Évitez les phrases qui fourchent et les pauses longues en plein milieu : les deux dérèglent la synchronisation.

Donnez-lui une piste audio propre, sans musique ni bruit de fond. Le modèle essaie aussi d'interpréter ce qu'il entend derrière.

Lancez plusieurs essais. Les résultats varient davantage ici que lors d'une génération vidéo classique.

Le détour par le montage

C'est la méthode vers laquelle je reviens le plus souvent.

Découpez le script en blocs de trois à quatre secondes.

Générez chaque bloc à part.

Montez le tout avec des inserts entre les répliques : un plan produit, un détail en gros plan, un mouvement de caméra.

Le cutaway masque la coupe, et il remet le compteur de décalage à zéro avant la réplique suivante.

L'inconvénient est clair : il s'agit de montage, pas d'une génération d'un coup, et ça prend plus de temps.

Comment découper son script en plans

Découpez par idée, pas par longueur. Chaque bloc doit porter une pensée complète.

Écartez les phrases qui fourchent et les énumérations pleines de virgules. C'est là que l'articulation dérape en premier.

Ne démarrez pas une réplique sur un groupe de consonnes. Les premières images sont déjà le moment le plus fragile de tout clip.

Laissez une demi-seconde de silence à la fin de chaque réplique. C'est votre point de coupe au montage.

Quand se passer du lip sync

Pour une vidéo produit, un avatar qui parle n'est presque jamais nécessaire. Une voix off posée sur des images du produit règle le même problème, et ça se monte en quelques minutes.

Pour une fiche produit sur une marketplace, c'est encore moins utile. L'acheteur regarde l'objet, pas la personne qui le présente.

Le lip sync trouve sa place quand la personne à l'écran est le sujet même : un témoignage, une prise de parole directe, un format tuto.

Là, honnêtement, je ne suis pas sûr de tout comprendre. J'ai vu des clips avec un décalage d'une demi-image que personne n'a remarqué, et je ne saurais pas dire pourquoi ça passe inaperçu dans certains cas et saute aux yeux dans d'autres.

FAQ

Pourquoi les lèvres se décalent-elles de la voix ? L'erreur dans l'association son-bouche s'accumule au fil de la réplique. Invisible sur un clip court, elle devient visible vers la quatrième ou cinquième seconde.

Sur combien de secondes la synchronisation tient-elle ? En général trois à quatre secondes. C'est la longueur à laquelle on découpe les scripts, et les vidéos plus longues s'assemblent à partir de ces morceaux.

Pourquoi le lip sync a-t-il plus de mal hors anglais ? Les données d'entraînement penchent vers l'anglais, et la correspondance entre sons et formes de bouche diffère d'une langue à l'autre.

Que faire à la place du lip sync pour une vidéo produit ? Une voix off posée sur les images du produit. Pour une fiche produit, ça fonctionne tout aussi bien et ça se fait beaucoup plus vite.

Quel cadrage privilégier pour un passage parlé ? Le plan moyen. En gros plan, la bouche prend la moitié de l'image, et le moindre décalage devient flagrant.

Pourquoi ajouter des cutaways entre les répliques ? Ils masquent la coupe, et ils remettent aussi à zéro le décalage qui, sinon, s'accumulerait d'une réplique à l'autre.

Sources

1. Flami : voix off et lip sync
2. Flami : synthèse vocale IA
3. Flami : avatar numérique IA