Como adicionar diálogo e sincronia labial a um vídeo com IA
Aprenda a adicionar diálogo e sincronia labial a um vídeo com IA por três caminhos: falas nativas, voz separada ou narração. Depois, dirija uma voz sintética como um ator.
Nesta aula, você vai aprender
- Os três caminhos para o diálogo em vídeo com IA: nativo, voz separada e narração
- Como escrever uma fala nativa no prompt, com as palavras, o idioma e a entonação
- Como trazer um arquivo de voz para o ScreenWeaver com o botão "Add Voice" (adicionar voz) de um personagem e um nó de áudio
- Como dirigir uma voz sintética com uma nota de atuação escrita
- Por que a narração costuma ser o caminho mais fácil e mais cinematográfico
- A regra do consentimento para clonar a voz de uma pessoa real
As falas são onde os filmes de IA mais quebram: a voz errada, o tempo errado, lábios que não batem. Esta aula apresenta os três caminhos para o diálogo em vídeo com IA e quando usar cada um. O diálogo nativo é gerado junto com a imagem, com a voz, o movimento dos lábios e o ambiente no mesmo take, como foi feita a fala de Thomas em The Photo. Uma voz separada, criada antes com um modelo de texto para fala, dá controle sobre a atuação e o tempo e, no ScreenWeaver, entra num nó de áudio que pode ser enviado aos modelos de vídeo que aceitam áudio. A narração (voz em off) dispensa totalmente a sincronia labial, uma ideia que Lost Garden usa com cavaleiros sem rosto e sem boca. Você também aprende a dirigir uma voz sintética com uma nota de atuação, a manter cada personagem soando como a mesma pessoa e a respeitar a regra do consentimento para clonagem de voz.
Transcrição completa
Transcrição da narração original em inglês.
0:04Spoken lines are where AI films break most often – the wrong voice, the wrong timing, lips that don't match. In this lecture you'll learn the three routes for dialogue, when to use each one and how to direct a synthetic voice like an actor.
0:19Route 1 – native dialogue, generated with the picture. Some video models produce the voice, the lip movement and the ambience in the same take. That's how Thomas' line in the photo was made. The words are in the prompt, in quotes, with the language and the delivery, softly. Keep native lines short, one or two sentences, and keep the speaker clearly in frame.
1:02Route 2 – a separate voice, then the picture. You generate the voice first, with a text -to -speech model, so you control the performance and the timing, then the voice drives the video. In Screenweaver, a character's story element has an Add Voice button. It creates an audio node, where you upload the voice file, and that audio can be sent as a reference to the video models that accept audio. Dedicated lip -sync tools exist, too, outside the app, for shots that need frame -perfect sync.
1:31Note that the app doesn't generate voices itself – you bring the audio file. For a short film, a text -to -speech service with voice design is usually enough. For recurring characters, save the voice settings of each one, so every scene sounds like the same person.
1:46Whichever read you choose, direct the voice like an actor. Write an acting note in words – calm, grounded, a little tired, a southern English accent. The narration of this course was generated exactly that way, from a single voice and a single acting note. Keep one voice per character for the whole film. Generate a full scene in one pass, so the time beholds, and listen for mispronounced names before you move on.
2:12For Thomas's line, the note could be quiet, almost a whisper, a man who has rehearsed this sentence for days and still isn't ready to say it. A few words of direction change everything about a line.
2:26Route 3 – voiceover, with no lips to sync at all. An inner monologue, an orator, a letter read over images. It's the easiest route, and often the most cinematic one. Lost Garden uses a version of this idea. Its nights have no faces and no mouths, so there is nothing to sync. Emotion comes from posture, light and voice.
2:54One rule with no exception – never clone a real person's voice without their written consent. And check the rules of the platform where your film will play – some require you to disclose synthetic voices.
3:09Your exercise? Pick one line of dialogue from your script and produce it two ways – native, inside the generated shot, and as a separate voice with an acting note. Compare them in the cut. In the next lecture, we'll build the full soundtrack, edit the film and export it.
O curso completo
Playlist no YouTubeSeção 1 · Boas-vindas ao cinema com IA
Seção 2 · Escrever para o cinema com IA
Seção 3 · Defina o visual do seu filme
Seção 4 · Lista de planos e storyboard
Seção 5 · Gere o filme
- 5.1Como escolher o modelo de vídeo certo para cada plano5:18
- 5.2Prompt como um diretor: câmera, ação, atuação5:55
- 5.3Referência para vídeo: personagens e cenários sempre fiéis ao design5:13
- 5.4Corrigir planos ruins: reparar, reenquadrar, gerar de novo4:53
- 5.5Oficina, parte 1: roteiro e storyboard, passo a passo6:21
- 5.6Oficina, parte 2: produção, passo a passo5:02