Este fluxo transforma um par de imagens em um vídeo curto e coerente utilizando a difusão baseada em inpainting do Wan 2.1. Você fornece um quadro inicial e um final; o nó WanFunInpaintToVideo então orienta o modelo a sintetizar o movimento intermediário, preservando detalhes do sujeito e da cena ancorados nas suas imagens. Prompts de texto (via CLIPTextEncode) direcionam o estilo e o conteúdo, enquanto prompts negativos ajudam a suprimir artefatos.
Na parte técnica, o Step1 carrega os componentes principais: UNETLoader (Wan2.1 / Wan), VAELoader/VAEDecode para conversão entre espaço latente e pixel, e CLIPLoader para condicionamento de texto. Os quadros inicial/final são importados com LoadImage e codificados usando CLIPVisionLoader + CLIPVisionEncode para gerar condicionamento de imagem para o UNet. O KSampler conduz o processo de difusão usando ModelSamplingSD3 para o agendamento correto de sigma, com CFGZeroStar e SkipLayerGuidanceDiT estabilizando a orientação. O grupo Attention Booster aplica UNetTemporalAttentionMultiply para reforçar a consistência temporal entre os quadros. Por fim, CreateVideo monta os quadros e SaveVideo salva o clipe final.
API
Use este workflow a partir do código
Todo workflow Comfy é um grafo JSON. O payload abaixo é este workflow, exatamente como o ComfyUI executa — obtenha-o pela URL, mantenha-o no controle de versão ou carregue-o no ComfyUI e execute nó por nó.
Execute a partir de TypeScript ou Python com o Comfy SDK. O mesmo código serve para o Comfy Cloud ou um ComfyUI hospedado por você — apenas a URL base muda.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan 2.1 inpainting" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("wan2.1_fun_inp_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("72", "image", asset); // LoadImage
wf.setInput("6", "text", "your prompt here"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("80")[0].toFile("output.png"); // SaveVideoO SDK utiliza um workflow no formato API: abra este workflow no ComfyUI e use Arquivo → Exportar Workflow (API).
O acesso à API do Comfy Cloud requer um plano com chave de API.
FAQ
