Wan2.2-S2V 音訊驅動影片產生

將靜態圖像與音訊轉為動態影片,音畫完美同步,分鐘級即可產生。

Input

Speech or singing that drives the mouth. The video is about 14 s long (3 × 77 frames at 16 fps); use audio of about that length.

  • 0:00 / 0:00

A clear picture of the person; the video keeps their face and look.

Describe the person, what they are doing and the camera.

Output size in pixels.

Output size in pixels.

Advanced settings

Keep at 1 with the lightning LoRA.

Default: 1

What to avoid in the result.

Leave empty for a new result each run. Enter a number to repeat one.

4 with the built-in lightning LoRA.

Default: 4

Output
00:00
Example

試試範例

關於此工作流程

這個 ComfyUI 工作流程會使用 Wan 2.2 S2V(sound-to-video)模型,把單張參考圖片以及一段音訊轉成同步的影片。它透過 UNETLoader、CLIPLoader 以及 VAELoader 載入 Wan 主幹,並用 ModelSamplingSD3 設定正確的取樣排程。你的文字提示由 CLIPTextEncode 編碼,而音訊則由 AudioEncoderLoader 與 AudioEncoderEncode 處理。這些訊號再加上 LoadImage 載入的圖片,一起驅動 WanSoundImageToVideo 合成符合音訊節奏與語句停頓的動作。KSampler 控制步數、CFG 與 seed;VAEDecode 把潛空間轉成影格;CreateVideo 則組裝成最後的片段。

有兩個工程細節讓這個工作流程更適合量產:首幀穩定化與可延伸的時長。「Fix overbaked first frame」群組會用 LatentCut 與 LatentConcat 複製第一個潛空間影格再解碼,並在解碼後丟棄第一個影格,以避免常見 VAE 在第 0 幀出現的「過烤」外觀。要做長片段時,「Video S2V Extend」子圖可用 LatentCut/LatentConcat 以分段方式串接(預設每段 77 幀),讓你能製作到分鐘等級而不把 VRAM 撐爆。此工作流程也支援 lightning 路徑:搭配 Wan 2.2 lightning LoRA 可用 4 步取樣(建議 CFG 約 1.0)。若你更重視品質與穩定性,使用標準路徑約 20 步(CFG 約 6.0)。

問答