音訊驅動角色嘴型同步影片

上傳角色圖像和音訊檔案。產生嘴型同步影片,使角色的嘴部動作與提供的音軌匹配。

Input

Speech or singing the character lip-syncs to.

  • 0:00 / 0:00

One person, face clearly visible. Cropped to the width × height below.

Describe the performance: expression, head and body movement, camera.

Pixels, a multiple of 16.

Frames at 25 fps: set it to audio seconds × 25 (the graph can't read the audio length). The example's 17.6 s clip used 440.

Default: 440

Pixels, a multiple of 16.

Advanced settings

What to avoid.

Leave empty for a new result each run. Enter a number to repeat one.

Default: 7

Output
00:00
Example

試試範例

關於此工作流程

此 ComfyUI 工作流程可將靜態角色圖像與音訊檔結合,生成對嘴動畫影片。流程運用 Wan2.1 InfiniteTalk 模型,分析上傳的音訊,產生與語音內容同步的嘴型動作,實現真實的對嘴效果。流程從『LoadAudio』節點開始,匯入音訊檔並進行分析,同時『LoadImage』節點讓使用者上傳要動畫化的角色圖像。流程結合自訂節點如『ComfyUI-WanVideoWrapper』與『audio-separation-nodes-comfyui』,處理音訊並與視覺元素同步。最終輸出為影片檔,透過『SaveVideo』節點儲存,角色嘴型與音訊完美對齊。

技術上,此流程運用進階音訊分析與影片生成技術。『audio-separation-nodes-comfyui』節點負責將音訊分解為可對應嘴型的成分,『comfyui-kjnodes』則將這些嘴型動作融合到角色圖像。此流程特別適合內容創作者製作動畫影片,無需複雜動畫軟體,是提升故事表現與互動性的實用工具。

問答