Wan2.1 VACE Controle de Vídeo
Gere vídeos controlando vídeos de entrada e imagens de referência usando Wan VACE.
Experimente um exemplo
Sobre este fluxo de trabalho
Wan2.1 VACE Controle de Vídeo é um fluxo guiado de vídeo para vídeo que preserva o movimento e o tempo de um vídeo fonte enquanto reestiliza ou re-caracteriza com um prompt de texto e uma imagem de referência. Ele carrega checkpoints Wan2.1 VACE (1.3B ou 14B) via UNETLoader e VAELoader, codifica seu texto com CLIPTextEncode e condiciona a geração com sinais de controle derivados de pré-processamento simples de imagem (Canny por padrão). GetVideoComponents lê quadros e FPS do clipe de entrada, e TrimVideoLatent mantém a sequência latente alinhada com o intervalo de quadros e resolução escolhidos antes da amostragem.
Nos bastidores, ModelSamplingSD3 configura o agendamento do sampler esperado para Wan2.1 VACE, e KSampler realiza denoising em uma sequência de latentes de vídeo montada por WanVaceToVideo usando seu vídeo de controle, prompt e imagem de referência. VAEDecode converte os latentes finais em quadros, CreateVideo os monta na FPS desejada, e você pode exportar em MP4 (SaveVideo) ou WebP animado (SaveAnimatedWEBP). Um LoRA CausVid opcional (LoraLoader) pode acelerar ou estabilizar o movimento com poucos passos, mas pode ser necessário ajustar sua força. O modelo 14B oferece maior fidelidade (e suporta 720p), mas é mais lento e consome mais VRAM; a variante 1.3B é mais rápida e indicada para saídas 480p.
Perguntas e respostas
Use 1.3B para iterar mais rápido e saídas em 480p. Escolha 14B se você precisar de maior fidelidade ou 720p. O modelo 14B é mais lento e exige mais VRAM, mas normalmente entrega detalhes mais limpos e melhor estabilidade temporal.
Reduza a força do LoRA para algo em torno de 0,3–0,5, aumente um pouco os steps (por exemplo, de 2 para 3–4) e mantenha o CFG perto de 1,0 no preset do LoRA. Se os artefatos persistirem, faça bypass do LoRA ou relaxe os limiares do Canny para que as bordas restrinjam menos.
O TrimVideoLatent permite limitar ou alinhar o intervalo de frames. O GetVideoComponents lê o FPS da fonte; você pode manter ou sobrescrever durante o CreateVideo. Clipes mais curtos e FPS moderado reduzem VRAM e aceleram a amostragem.
Sim. Substitua o nó Canny por outro pré-processador do comfyui_controlnet_aux (por exemplo, Lineart ou Depth) e roteie a saída para a mesma entrada de controle usada pelo WanVaceToVideo. Pré-processadores diferentes mudam o quão estritamente a estrutura é preservada.