Este flujo de trabajo de ComfyUI convierte una única imagen de referencia y una pista de audio en un vídeo sincronizado con el modelo Wan 2.2 S2V (sound-to-video). Carga el backbone Wan con UNETLoader, CLIPLoader y VAELoader, y establece la programación correcta con ModelSamplingSD3. Tu prompt de texto se codifica con CLIPTextEncode, mientras que el audio se procesa con AudioEncoderLoader y AudioEncoderEncode. Estas señales, junto con la imagen de LoadImage, impulsan WanSoundImageToVideo para sintetizar movimiento que sigue el ritmo y las frases del audio. El KSampler controla pasos, CFG y seed; VAEDecode convierte latentes en fotogramas; y CreateVideo ensambla el clip final.
Dos detalles de ingeniería hacen que el flujo de trabajo sea práctico para producción: estabilización del primer fotograma y duración escalable. El grupo Fix overbaked first frame usa LatentCut y LatentConcat para duplicar el fotograma latente inicial antes de decodificar, y después descarta el primer fotograma decodificado para evitar el aspecto típico de VAE "overbaked" en el fotograma 0. Para clips largos, los subgráficos Video S2V Extend te permiten encadenar segmentos por bloques (77 fotogramas por defecto) usando LatentCut/LatentConcat, para que puedas crear vídeos de varios minutos sin disparar el uso de VRAM. El flujo de trabajo también admite una ruta lightning: con un Wan 2.2 lightning LoRA puedes muestrear en 4 pasos (CFG recomendado ~1.0). Si prefieres calidad y estabilidad, usa la ruta estándar con ~20 pasos (CFG ~6.0).
API
Usa este flujo de trabajo desde código
Cada flujo de trabajo de Comfy es un grafo JSON. El siguiente payload es este flujo de trabajo, exactamente como lo ejecuta ComfyUI: descárgalo desde la URL, guárdalo en control de versiones o cárgalo en ComfyUI y ejecútalo nodo por nodo.
Ejecuta desde TypeScript o Python con el Comfy SDK. El mismo código funciona en Comfy Cloud o en un ComfyUI propio: solo cambia la URL base.
// Install (beta)
npm i @comfyorg/sdk
// Run "Wan2.2-S2V Generación de Video Impulsada por Audio" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("video_wan2_2_14B_s2v_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("52", "image", asset); // LoadImage
wf.setInput("6", "text", "your prompt here"); // CLIPTextEncode
const job = await client.run(wf);
await job.getOutputs("113")[0].toFile("output.png"); // SaveVideoEl SDK utiliza un flujo de trabajo en formato API: abre este flujo de trabajo en ComfyUI y usa Archivo → Exportar flujo de trabajo (API).
El acceso a la API de Comfy Cloud requiere un plan con clave API.
Preguntas frecuentes
