Cómo añadir diálogo y sincronización labial a un vídeo con IA
Aprende a añadir diálogo y sincronización labial a un vídeo con IA por tres caminos: réplicas nativas, una voz aparte o voz en off. Y luego dirige una voz sintética como a un actor.
En esta lección aprenderás
- Los tres caminos para el diálogo en vídeo con IA: nativo, voz aparte y voz en off
- Cómo escribir una réplica nativa en el prompt, con las palabras, el idioma y la forma de decirla
- Cómo llevar un archivo de voz a ScreenWeaver con el botón Add Voice de un personaje y un nodo de audio
- Cómo dirigir una voz sintética con una nota de interpretación escrita
- Por qué la voz en off suele ser el camino más fácil y más cinematográfico
- La regla del consentimiento para clonar la voz de una persona real
Las réplicas habladas son donde las películas con IA se rompen más a menudo: la voz equivocada, el ritmo equivocado, labios que no coinciden. Esta lección cubre los tres caminos para el diálogo en vídeo con IA y cuándo usar cada uno. El diálogo nativo se genera con la imagen, con la voz, el movimiento de labios y el ambiente en la misma toma, como se hizo la réplica de Thomas en The Photo. Una voz aparte, hecha primero con un modelo de texto a voz, te da control sobre la interpretación y el ritmo, y en ScreenWeaver entra en un nodo de audio que se puede enviar a los modelos de vídeo que aceptan audio. La voz en off no necesita ninguna sincronización labial, una idea que Lost Garden usa con caballeros sin rostro y sin boca. También aprendes a dirigir una voz sintética con una nota de interpretación, a mantener cada personaje sonando como la misma persona y a respetar la regla del consentimiento para clonar voces.
Transcripción completa
Transcripción de la narración en inglés.
0:04Spoken lines are where AI films break most often – the wrong voice, the wrong timing, lips that don't match. In this lecture you'll learn the three routes for dialogue, when to use each one and how to direct a synthetic voice like an actor.
0:19Route 1 – native dialogue, generated with the picture. Some video models produce the voice, the lip movement and the ambience in the same take. That's how Thomas' line in the photo was made. The words are in the prompt, in quotes, with the language and the delivery, softly. Keep native lines short, one or two sentences, and keep the speaker clearly in frame.
1:02Route 2 – a separate voice, then the picture. You generate the voice first, with a text -to -speech model, so you control the performance and the timing, then the voice drives the video. In Screenweaver, a character's story element has an Add Voice button. It creates an audio node, where you upload the voice file, and that audio can be sent as a reference to the video models that accept audio. Dedicated lip -sync tools exist, too, outside the app, for shots that need frame -perfect sync.
1:31Note that the app doesn't generate voices itself – you bring the audio file. For a short film, a text -to -speech service with voice design is usually enough. For recurring characters, save the voice settings of each one, so every scene sounds like the same person.
1:46Whichever read you choose, direct the voice like an actor. Write an acting note in words – calm, grounded, a little tired, a southern English accent. The narration of this course was generated exactly that way, from a single voice and a single acting note. Keep one voice per character for the whole film. Generate a full scene in one pass, so the time beholds, and listen for mispronounced names before you move on.
2:12For Thomas's line, the note could be quiet, almost a whisper, a man who has rehearsed this sentence for days and still isn't ready to say it. A few words of direction change everything about a line.
2:26Route 3 – voiceover, with no lips to sync at all. An inner monologue, an orator, a letter read over images. It's the easiest route, and often the most cinematic one. Lost Garden uses a version of this idea. Its nights have no faces and no mouths, so there is nothing to sync. Emotion comes from posture, light and voice.
2:54One rule with no exception – never clone a real person's voice without their written consent. And check the rules of the platform where your film will play – some require you to disclose synthetic voices.
3:09Your exercise? Pick one line of dialogue from your script and produce it two ways – native, inside the generated shot, and as a separate voice with an acting note. Compare them in the cut. In the next lecture, we'll build the full soundtrack, edit the film and export it.
El curso completo
Lista de reproducción de YouTubeSección 1 · Bienvenida al cine con IA
Sección 2 · Escribir para el cine con IA
Sección 3 · Diseña tu película
Sección 4 · Lista de planos y storyboard
Sección 5 · Genera la película
- 5.1Elegir el modelo de vídeo adecuado para cada plano5:18
- 5.2Escribir prompts como un director: cámara, acción, interpretación5:55
- 5.3Referencia a vídeo: personajes y decorados que no cambian5:13
- 5.4Corregir planos fallidos: reparar, reencuadrar, regenerar4:53
- 5.5Taller, parte 1: guion y storyboard, paso a paso6:21
- 5.6Taller, parte 2: producción, paso a paso5:02