Este fluxo do ComfyUI transforma uma imagem de referência e uma faixa de áudio em um vídeo sincronizado usando o modelo Wan 2.2 S2V (sound-to-video). Ele carrega o backbone Wan com UNETLoader, CLIPLoader e VAELoader, e define o agendamento correto via ModelSamplingSD3. Seu prompt de texto é codificado por CLIPTextEncode, enquanto o áudio é processado por AudioEncoderLoader e AudioEncoderEncode. Esses sinais, junto com a imagem do LoadImage, alimentam o WanSoundImageToVideo para sintetizar movimento que segue o ritmo e a frase do áudio. O KSampler controla steps, CFG e seed; VAEDecode converte latentes em quadros; e CreateVideo monta o clipe final.
Dois detalhes de engenharia tornam o fluxo prático para produção: estabilização do primeiro quadro e duração escalável. O grupo Fix overbaked first frame usa LatentCut e LatentConcat para duplicar o primeiro quadro latente antes de decodificar, depois descarta o primeiro quadro decodificado para evitar o efeito "overbaked" comum do VAE no quadro 0. Para clipes longos, os subgrafos Video S2V Extend permitem encadear segmentos em blocos (77 quadros por padrão) usando LatentCut/LatentConcat, possibilitando vídeos de minutos sem estourar a VRAM. O fluxo também suporta caminho lightning: com um Wan 2.2 lightning LoRA você pode amostrar em 4 steps (CFG recomendado ~1.0). Se preferir qualidade e estabilidade, use o caminho padrão em ~20 steps (CFG ~6.0).
API
Use este workflow a partir do código
Todo workflow Comfy é um grafo JSON. O payload abaixo é este workflow, exatamente como o ComfyUI executa — obtenha-o pela URL, mantenha-o no controle de versão ou carregue-o no ComfyUI e execute nó por nó.
Execute a partir de TypeScript ou Python com o Comfy SDK. O mesmo código serve para o Comfy Cloud ou um ComfyUI hospedado por você — apenas a URL base muda.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan2.2-S2V Geração de Vídeo Impulsionada por Áudio" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_2_14B_s2v_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("52", "image", asset); // LoadImage
wf.setInput("6", "text", "your prompt here"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("113")[0].toFile("output.png"); // SaveVideoO SDK utiliza um workflow no formato API: abra este workflow no ComfyUI e use Arquivo → Exportar Workflow (API).
O acesso à API do Comfy Cloud requer um plano com chave de API.
FAQ
