Faire écrire ses prompts vidéo par l'IA avec un nœud LLM

0:00Écrire un bon prompt vidéo demande du métier.

0:02Il faut décrire le mouvement, la caméra, le rythme, les personnages, sans contradiction et dans la langue que comprend le modèle.

0:09Pour un plan, ça va. Pour une scène de 6 plans qui doit tenir dans une seule vidéo, c 'est un vrai travail d 'écriture.

0:15Notre objectif ici, fait récrire vos prompts vidéo par un nœud LLM, le directeur de prompt, à partir de vos plans.

0:22D 'abord, qu 'est -ce qu 'un nœud LLM ? C 'est un générateur de texte.

0:26Au lieu de produire une image ou une vidéo, il produit un texte à partir d 'un prompt et de ce qu 'on lui relie.

0:32Et ce texte peut ensuite être cité par un autre nœud, par exemple un générateur vidéo.

0:36Dans Screenweaver, vous en croiserez surtout un, le directeur de prompt que le camp va s 'appelle prompt director.

0:43C 'est un nœud LLM préparé par Screenweaver.

0:45Il lit la liste des plans d 'une scène et rédige un brief de réalisation, c 'est -à -dire le prompt de la vidéo de cette scène.

0:51On le verra se créer tout seul avec les pipeline dans le prochain cours.

0:54Mais on peut aussi poser un nœud LLM à la main pour comprendre comment il marche.

0:58Dans le groupe de production de la scène 4 de The Sim, celle du grand mur, ajoutez des nœuds, puis LLM.

1:05Le nœud a un champ de prompt comme les autres générateurs.

1:07On y écrit sa consigne et on y cite, avec les références, ce qu 'il doit lire.

1:12Ici, les plans S12, S13 et S14. Le très grand plan du mur avec le sticker minuscule, le plan moyen face à la couture bleue et le très gros plan sur son visage éclairé en bleu.

1:23J 'écris, à partir de ces trois plans, rédige un seul prompt vidéo en anglais qui enchaîne les trois moments dans l 'ordre avec leur valeur de plan et leur mouvement de caméra.

1:32Décris seulement ce qu 'on voit et ce qui bouge.

1:35Deux réglages sur le nœud. Le niveau de réflexion.

1:37Minimal, faible, moyen, élevé. Plus il est élevé, plus le modèle prend le temps de raisonner avant d 'écrire.

1:44Pour un prompt de scène, moyen suffit en général.

1:47Montez à élever pour une scène complexe avec beaucoup de personnages ou de mouvements.

1:51Et le traitement des références. Le réglage le plus important.

1:54Deux options. Joindre les médias. Les images citées dans le prompt sont envoyées au LLM.

1:59Ils voient vraiment les cases, les fiches, les images de production.

2:02Ils peuvent décrire ce qu 'ils voient. Non uniquement.

2:05Les images, les sons et les vidéos sont transmis comme des noms sans être joints.

2:09Le LLM sait qu 'il existe une image du Stitcher.

2:12Mais il ne la voit pas. Il écrit son texte avec des marques à la place des images.

2:16Pourquoi vouloir qu 'il ne voit pas les images ?

2:19Parce que c 'est le modèle vidéo qui recevra les images.

2:21Pas le LLM. Le directeur de prompt n 'a pas besoin de décrire le manteau du Stitcher.

2:26Le modèle vidéo aura la fiche. Il doit seulement écrire la mise en scène.

2:30Et laisser chaque marque à sa place pour que la bonne image y soit branchée.

2:34C 'est pour ça que le prompt directeur des pipelines est réglé sur non uniquement.

2:38On génère. Le texte apparaît dans le nœud.

2:41Un prompt en trois temps. Le plan d 'ensemble du mur immense, avec un traveling latéral qui accompagne le Stitcher.

2:47Le plan moyen face à la couture qui brille.

2:49Puis le l 'endolie avant jusqu 'à son visage baigné de lumière bleue.

2:53Avec, à chaque fois qu 'un personnage ou un lieu apparaît, sa référence.

2:57On relie. C 'est essentiel. Le directeur de prompt écrit vite et bien.

3:01Mais il peut ajouter un geste qui n 'est pas dans votre storyboard.

3:04Ou oublier un mouvement de caméra. Corrigé le si besoin.

3:08Le texte généré se modifie comme n 'importe quel texte.

3:10Et ce texte, on le cite ensuite dans le prompt du générateur vidéo de la scène.

3:14La vidéo reçoit le brief du directeur de prompt, plus toutes les images qu 'il désigne.

3:19Si vous modifiez ensuite un plan dans le storyboard, l 'action, la valeur ou le mouvement, le nœud LLM vous signale que ses entrées ont changé.

3:27Relancez -le, puis relancez la vidéo. Un mot sur le modèle de langage.

3:31Le nœud LLM a son propre menu modèle, comme les générateurs d 'image et de vidéo.

3:36Le modèle par défaut convient très bien à la rédaction de prompt.

3:39Un conseil pour le brief. Fait que lui donner la durée de chaque plan.

3:42Nos trois plans font 13 secondes et 9 dixièmes.

3:45Mais la vidéo n 'endurera que 12. Si le brief ne dit pas comment répartir le temps, le modèle choisit seul.

3:51Et c 'est souvent le plan le plus court qui disparaît.

3:53Ici, le très gros plan sur le visage, le plus important des trois.

3:58Récapitulons. Un nœud LLM produit du texte à partir de ce qu 'on lui relie.

4:02Le prompt directeur est un nœud LLM qui transforme une liste de plans en prompt de scène.

4:07Niveau de réflexion selon la complexité. Joindre les médias pour qu 'ils voient les images.

4:11Non uniquement pour qu 'ils laissent les images au modèle vidéo.

4:15Et on relit toujours ce qu 'il écrit. Maintenant, à vous.

4:18Posez un nœud LLM. Citésis deux plans de votre film qui se suivent.

4:22Et demandez -lui un prompt vidéo qui les enchaîne.

4:25Comparé avec le prompt que vous auriez écrit vous -même.

4:27Gardez ce que chacun fait de mieux. Au prochain cours, on produit une scène entière d 'un bloc avec un pipeline.