Vidéo de synchronisation labiale de personnage pilotée par l'audio

Téléchargez une image de personnage et un fichier audio. Générez une vidéo de synchronisation labiale où les mouvements de la bouche du personnage correspondent à la piste audio fournie.

Input

Speech or singing the character lip-syncs to.

  • 0:00 / 0:00

One person, face clearly visible. Cropped to the width × height below.

Describe the performance: expression, head and body movement, camera.

Pixels, a multiple of 16.

Frames at 25 fps: set it to audio seconds × 25 (the graph can't read the audio length). The example's 17.6 s clip used 440.

Default: 440

Pixels, a multiple of 16.

Advanced settings

What to avoid.

Leave empty for a new result each run. Enter a number to repeat one.

Default: 7

Output
00:00
Example

Essayer un exemple

À propos de ce workflow

Ce workflow ComfyUI est conçu pour créer une vidéo en lip sync en combinant une image statique de personnage et un fichier audio. En utilisant le modèle Wan2.1 InfiniteTalk, le workflow analyse l’audio importé pour générer des mouvements de bouche qui correspondent aux mots prononcés, créant un effet de lip sync réaliste. Le processus commence avec le nœud « LoadAudio », qui ingère le fichier audio et le prépare à l’analyse. En parallèle, le nœud « LoadImage » permet d’importer l’image du personnage à animer. Le workflow s’appuie sur des nœuds personnalisés comme « ComfyUI-WanVideoWrapper » et « audio-separation-nodes-comfyui » pour traiter l’audio et le synchroniser avec le visuel. La sortie finale est un fichier vidéo, enregistré via « SaveVideo », où les mouvements de bouche du personnage sont en phase avec la piste audio.

Techniquement, ce workflow se distingue par l’utilisation d’analyses audio avancées et de techniques de génération vidéo. Le nœud « audio-separation-nodes-comfyui » est essentiel pour décomposer l’audio en composants mappables à des formes de bouche spécifiques, tandis que « comfyui-kjnodes » gère la fusion de ces mouvements dans l’image du personnage. Ce workflow est utile pour les créateurs de contenu qui veulent produire des vidéos animées sans logiciel d’animation complexe, afin d’enrichir narration et engagement via des médias visuels.

Questions-réponses