Este fluxo de trabalho ComfyUI gera vídeos curtos guiados por prompt a partir de uma única imagem, seguindo precisamente um caminho de câmera ou objeto definido pelo usuário. Utiliza o modelo Wan 2.1 I2V ATI para combinar orientação por texto, imagem de referência e um JSON de trajetória, garantindo que o movimento da câmera ou do objeto não seja aleatório. Os nós principais incluem UNETLoader (Wan2_1-I2V-ATI-14B_fp8_e4m3fn.safetensors) e VAELoader (wan_2.1_vae.safetensors) para a base de difusão, CLIPLoader e CLIPTextEncode para condicionamento de prompt, CLIPVisionLoader e CLIPVisionEncode para condicionamento de imagem, e WanTrackToVideo para aplicar o controle de trajetória. KSampler (usando ModelSamplingSD3) realiza o denoising, VAEDecode converte os latentes em quadros, e CreateVideo + SaveVideo empacotam o resultado.
Tecnicamente, o fluxo codifica seus prompts positivos/negativos via CLIPTextEncode e extrai características visuais da imagem de entrada com CLIPVisionEncode. O nó PrimitiveStringMultiline armazena o JSON de trajetória exportado da Trajectory-Annotation-Tool; WanTrackToVideo consome esse JSON e injeta controle de movimento quadro a quadro no processo de amostragem. ModelSamplingSD3 configura o scheduler para que KSampler faça o denoising de forma compatível com o treinamento do Wan 2.1. Após a amostragem, VAEDecode reconstrói os quadros, e CreateVideo os monta na resolução e FPS escolhidos. Em uma 4090D 24GB a 720x480, espere cerca de 500 segundos na primeira execução e cerca de 463 segundos nas seguintes, com pesos já em cache (os tempos reais variam conforme as configurações).
API
Use this workflow from code
Every Comfy workflow is a JSON graph. The payload below is this workflow, exactly as ComfyUI runs it — fetch it from the URL, keep it in version control, or load it in ComfyUI and run it node by node.
Run it from TypeScript or Python with the Comfy SDK. The same code targets Comfy Cloud or a ComfyUI you host yourself — only the base URL changes.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan2.1 ATI" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan_ati_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("240", "image", asset); // LoadImage
wf.setInput("6", "text", "your prompt here"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("258")[0].toFile("output.png"); // SaveVideoThe SDK takes a workflow in API format: open this workflow in ComfyUI and use File → Export Workflow (API).
Comfy Cloud API access requires a plan with an API key.
FAQ
