AI on the Lot 2026 - WF final - t2v
El sexto y último flujo de trabajo publicado para AI on the Lot 2026, disponible para los asistentes del taller ComfyUI 101 para abrirlo y seguirlo si lo desean. Un flujo de trabajo de texto a vídeo que reúne todo lo construido y usado en los flujos de trabajo anteriores en una configuración completa.
Acerca de
AI on the Lot 2026 - Final WF - t2v es un pipeline completo de texto a vídeo que une diseño de prompts, síntesis de imágenes y ensamblaje de vídeo dentro de ComfyUI. Usa AILab_QwenVL y AILab_QwenVL_PromptEnhancer para convertir una idea simple en un prompt rico y estructurado. A partir de ahí, el flujo de trabajo genera keyframes de alta calidad con la etapa de síntesis de imagen (ID de nodo e9d2dda8-2509-4d8d-9702-a9bf00c26650), previsualiza resultados con PreviewAny y luego construye un clip de vídeo cohesivo en la etapa de vídeo (ID de nodo 99c27236-513e-427c-9ed4-49406365f0d3). SaveImage y SaveVideo ofrecen exportaciones limpias y reproducibles en cada etapa.
Técnicamente, el flujo es: tu prompt de texto base (y opcionalmente una imagen de referencia) entra en AILab_QwenVL para extraer y enriquecer detalles de la escena. AILab_QwenVL_PromptEnhancer refina el texto en un prompt compatible con el modelo con sujetos, estilos y descriptores de plano más claros. Ese prompt alimenta el nodo generador de imágenes (e9d2dda8-2509-4d8d-9702-a9bf00c26650) para producir uno o más keyframes controlados por semilla en la resolución elegida. Luego esos fotogramas se pasan al nodo de vídeo (99c27236-513e-427c-9ed4-49406365f0d3), que sintetiza un clip según la duración y las configuraciones de movimiento/consistencia. PreviewAny ayuda a iterar rápido, mientras que SaveImage y SaveVideo fijan las imágenes fijas o el vídeo final cuando estés conforme. Como las etapas son modulares, puedes usarlo solo para texto a imagen, solo para imagen a vídeo o de extremo a extremo de texto a vídeo con el mismo gráfico.
Lo que proporcionas
- Leyendo el flujo de trabajo
Se ejecuta en ComfyUI. Este flujo de trabajo no puede ejecutarse en esta página. Ábrelo en Comfy Cloud con todo cargado o descárgalo para tu propio ComfyUI.
Probar en CloudDentro del flujo de trabajo
Una vista previa de solo lectura del gráfico de nodos. Ábrelo en Comfy Cloud o descárgalo para editar los nodos.
Loading the graph
Open full-size workflow previewArchivos de este flujo de trabajo
- Autor
- Julien Durand | MJM
Requiere nodos personalizados
- Leyendo el flujo de trabajo
Usa este flujo de trabajo desde código
Se genera a partir del gráfico y las entradas del flujo de trabajo cuando es posible; de lo contrario, se muestran ejemplos almacenados. Revisa las credenciales y los endpoints antes de ejecutar el código, ya que puede generar cargos.
What you need
- Runs on
- Comfy Cloud
- Clave
- COMFY_API_KEY
Requiere un plan de pago de Cloud y créditos.
# Python 3.10+: pip install comfy-sdk==0.4.0
import os
from comfy_sdk import Comfy
api_key = os.environ.get("COMFY_API_KEY", "").strip()
if not api_key: raise RuntimeError("Set COMFY_API_KEY")
os.environ.setdefault("COMFY_BASE_URL", "https://cloud.comfy.org")
client = Comfy(api_key=api_key)
workflow = client.workflows.from_json({
"74": {
"class_type": "SaveImage",
"inputs": {
"filename_prefix": "z-image-turbo",
"images": [
"76:8",
0
]
},
"_meta": {
"title": "Save Image"
}
},
"77": {
"class_type": "AILab_QwenVL_PromptEnhancer",
"inputs": {
"attention_mode": "auto",
"custom_system_prompt": "You are an expert prompt writer for a photorealistic image generator. Given a short concept, expand it into a detailed prompt covering subject, lighting, setting, lens, and mood. One dense paragraph. No bullet points.",
"device": "auto",
"enhancement_style": "📝 Enhance",
"keep_model_loaded": True,
"max_tokens": 256,
"model_name": "Qwen3-VL-8B-Instruct",
"prompt_text": "a boxer alone in the locker room after a fight",
"quantization": "None (FP16)",
"repetition_penalty": 1.1,
"seed": 1,
"temperature": 0.7,
"top_p": 0.9,
"use_torch_compile": False
},
"_meta": {
"title": "QwenVL Prompt Enhancer"
}
},
"78": {
"class_type": "PreviewAny",
"inputs": {
"source": [
"77",
0
]
},
"_meta": {
"title": "Preview as Text"
}
},
"324": {
"class_type": "SaveVideo",
"inputs": {
"filename_prefix": "video/LTX_2.3_i2v",
"format": "auto",
"format.codec": "auto",
"video": [
"326:310",
0
]
},
"_meta": {
"title": "Save Video"
}
},
"330": {
"class_type": "AILab_QwenVL",
"inputs": {
"attention_mode": "auto",
"custom_prompt": "You are writing a motion prompt for an image-to-video generator that creates 5-second clips with synced audio. Describe the motion that unfolds over the next 5 seconds. State subject motion (or stillness) and camera motion as separate sentences. Be explicit about what does NOT move to prevent hallucinations. Include environmental motion (smoke, fog, light, water, fabric). Optional ambient audio at the end. Do not redescribe static visual content. One paragraph focused on motion.",
"keep_model_loaded": True,
"max_tokens": 512,
"model_name": "Qwen3-VL-8B-Instruct",
"preset_prompt": "🎬 Cinematic Description",
"quantization": "None (FP16)",
"seed": 1
},
"_meta": {
"title": "QwenVL"
}
},
"331": {
"class_type": "PreviewAny",
"inputs": {
"source": [
"330",
0
]
},
"_meta": {
"title": "Preview as Text"
}
},
"326:276": {
"class_type": "RandomNoise",
"inputs": {
"noise_seed": 42
},
"_meta": {
"title": "RandomNoise"
}
},
"326:277": {
"class_type": "RandomNoise",
"inputs": {
"noise_seed": 1072283399870947
},
"_meta": {
"title": "RandomNoise"
}
},
"326:278": {
"class_type": "LTXVConcatAVLatent",
"inputs": {
"audio_latent": [
"326:307",
1
],
"video_latent": [
"326:288",
0
]
},
"_meta": {
"title": "Concat AV Latent"
}
},
"326:279": {
"class_type": "LTXVAudioVAELoader",
"inputs": {
"ckpt_name": "ltx-2.3-22b-distilled-fp8.safetensors"
},
"_meta": {
"title": "Load LTXV Audio VAE"
}
},
"326:280": {
"class_type": "KSamplerSelect",
"inputs": {
"sampler_name": "euler_cfg_pp"
},
"_meta": {
"title": "KSamplerSelect"
}
},
"326:281": {
"class_type": "ManualSigmas",
"inputs": {
"sigmas": "0.85, 0.7250, 0.4219, 0.0"
},
"_meta": {
"title": "ManualSigmas"
}
},
"326:282": {
"class_type": "CFGGuider",
"inputs": {
"cfg": 1,
"model": [
"326:285",
0
],
"negative": [
"326:284",
1
],
"positive": [
"326:284",
0
]
},
"_meta": {
"title": "CFG Guider"
}
},
"326:283": {
"class_type": "SamplerCustomAdvanced",
"inputs": {
"guider": [
"326:314",
0
],
"latent_image": [
"326:318",
0
],
"noise": [
"326:277",
0
],
"sampler": [
"326:291",
0
],
"sigmas": [
"326:306",
0
]
},
"_meta": {
"title": "SamplerCustomAdvanced"
}
},
"326:284": {
"class_type": "LTXVCropGuides",
"inputs": {
"latent": [
"326:307",
0
],
"negative": [
"326:304",
1
],
"positive": [
"326:304",
0
]
},
"_meta": {
"title": "LTXVCropGuides"
}
},
"326:285": {
"class_type": "LoraLoaderModelOnly",
"inputs": {
"lora_name": "ltx-2.3-22b-distilled-lora-384-1.1.safetensors",
"model": [
"326:316",
0
],
"strength_model": 0.5
},
"_meta": {
"title": "Load LoRA"
}
},
"326:286": {
"class_type": "ResizeImagesByLongerEdge",
"inputs": {
"images": [
"326:290",
0
],
"longer_edge": 1536
},
"_meta": {
"title": "Resize Images by Longer Edge (DEPRECATED)"
}
},
"326:287": {
"class_type": "LTXVLatentUpsampler",
"inputs": {
"samples": [
"326:307",
0
],
"upscale_model": [
"326:311",
0
],
"vae": [
"326:316",
2
]
},
"_meta": {
"title": "LTXVLatentUpsampler"
}
},
"326:288": {
"class_type": "LTXVImgToVideoInplace",
"inputs": {
"bypass": [
"326:302",
0
],
"image": [
"326:289",
0
],
"latent": [
"326:287",
0
],
"strength": 1,
"vae": [
"326:316",
2
]
},
"_meta": {
"title": "LTXVImgToVideoInplace"
}
},
"326:289": {
"class_type": "LTXVPreprocess",
"inputs": {
"image": [
"326:286",
0
],
"img_compression": 18
},
"_meta": {
"title": "LTXV Preprocess"
}
},
"326:290": {
"class_type": "ResizeImageMaskNode",
"inputs": {
"input": [
"76:8",
0
],
"resize_type": "scale dimensions",
"resize_type.crop": "center",
"resize_type.height": [
"326:299",
0
],
"resize_type.width": [
"326:312",
0
],
"scale_method": "lanczos"
},
"_meta": {
"title": "Resize Image/Mask"
}
},
"326:291": {
"class_type": "KSamplerSelect",
"inputs": {
"sampler_name": "euler_ancestral_cfg_pp"
},
"_meta": {
"title": "KSamplerSelect"
}
},
"326:292": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "a/2",
"values.a": [
"326:312",
0
]
},
"_meta": {
"title": "Math Expression"
}
},
"326:294": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "a/2",
"values.a": [
"326:299",
0
]
},
"_meta": {
"title": "Math Expression"
}
},
"326:295": {
"class_type": "EmptyLTXVLatentVideo",
"inputs": {
"batch_size": 1,
"height": [
"326:294",
1
],
"length": [
"326:323",
1
],
"width": [
"326:292",
1
]
},
"_meta": {
"title": "Empty LTXV Latent Video"
}
},
"326:296": {
"class_type": "LTXVImgToVideoInplace",
"inputs": {
"bypass": [
"326:302",
0
],
"image": [
"326:289",
0
],
"latent": [
"326:295",
0
],
"strength": 0.7,
"vae": [
"326:316",
2
]
},
"_meta": {
"title": "LTXVImgToVideoInplace"
}
},
"326:297": {
"class_type": "LTXVAudioVAEDecode",
"inputs": {
"audio_vae": [
"326:279",
0
],
"samples": [
"326:309",
1
]
},
"_meta": {
"title": "LTXV Audio VAE Decode"
}
},
"326:298": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "a",
"values.a": [
"326:300",
0
]
},
"_meta": {
"title": "Math Expression"
}
},
"326:299": {
"class_type": "PrimitiveInt",
"inputs": {
"value": 1080
},
"_meta": {
"title": "Height"
}
},
"326:300": {
"class_type": "PrimitiveInt",
"inputs": {
"value": 25
},
"_meta": {
"title": "Frame Rate"
}
},
"326:301": {
"class_type": "PrimitiveInt",
"inputs": {
"value": 5
},
"_meta": {
"title": "Duration"
}
},
"326:302": {
"class_type": "PrimitiveBoolean",
"inputs": {
"value": False
},
"_meta": {
"title": "Switch to Text to Video?"
}
},
"326:303": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"326:317",
0
],
"text": [
"326:319",
0
]
},
"_meta": {
"title": "CLIP Text Encode (Prompt)"
}
},
"326:304": {
"class_type": "LTXVConditioning",
"inputs": {
"frame_rate": [
"326:298",
0
],
"negative": [
"326:313",
0
],
"positive": [
"326:303",
0
]
},
"_meta": {
"title": "LTXVConditioning"
}
},
"326:305": {
"class_type": "LTXVEmptyLatentAudio",
"inputs": {
"audio_vae": [
"326:279",
0
],
"batch_size": 1,
"frame_rate": [
"326:298",
1
],
"frames_number": [
"326:323",
1
]
},
"_meta": {
"title": "Empty LTXV Latent Audio"
}
},
"326:306": {
"class_type": "ManualSigmas",
"inputs": {
"sigmas": "1.0, 0.99375, 0.9875, 0.98125, 0.975, 0.909375, 0.725, 0.421875, 0.0"
},
"_meta": {
"title": "ManualSigmas"
}
},
"326:307": {
"class_type": "LTXVSeparateAVLatent",
"inputs": {
"av_latent": [
"326:283",
0
]
},
"_meta": {
"title": "Separate AV Latent"
}
},
"326:308": {
"class_type": "SamplerCustomAdvanced",
"inputs": {
"guider": [
"326:282",
0
],
"latent_image": [
"326:278",
0
],
"noise": [
"326:276",
0
],
"sampler": [
"326:280",
0
],
"sigmas": [
"326:281",
0
]
},
"_meta": {
"title": "SamplerCustomAdvanced"
}
},
"326:309": {
"class_type": "LTXVSeparateAVLatent",
"inputs": {
"av_latent": [
"326:308",
0
]
},
"_meta": {
"title": "Separate AV Latent"
}
},
"326:310": {
"class_type": "CreateVideo",
"inputs": {
"audio": [
"326:297",
0
],
"bit_depth": "auto",
"codec": "none",
"color_space": "sRGB",
"fps": [
"326:298",
0
],
"images": [
"326:315",
0
]
},
"_meta": {
"title": "Create Video"
}
},
"326:311": {
"class_type": "LatentUpscaleModelLoader",
"inputs": {
"model_name": "ltx-2.3-spatial-upscaler-x2-1.1.safetensors"
},
"_meta": {
"title": "Load Latent Upscale Model"
}
},
"326:312": {
"class_type": "PrimitiveInt",
"inputs": {
"value": 1920
},
"_meta": {
"title": "Width"
}
},
"326:313": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"326:317",
0
],
"text": "pc game, console game, video game, cartoon, childish, ugly"
},
"_meta": {
"title": "CLIP Text Encode (Prompt)"
}
},
"326:314": {
"class_type": "CFGGuider",
"inputs": {
"cfg": 1,
"model": [
"326:285",
0
],
"negative": [
"326:304",
1
],
"positive": [
"326:304",
0
]
},
"_meta": {
"title": "CFG Guider"
}
},
"326:315": {
"class_type": "VAEDecodeTiled",
"inputs": {
"overlap": 64,
"samples": [
"326:309",
0
],
"temporal_overlap": 4,
"temporal_size": 4096,
"tile_size": 768,
"vae": [
"326:316",
2
]
},
"_meta": {
"title": "VAE Decode (Tiled)"
}
},
"326:316": {
"class_type": "CheckpointLoaderSimple",
"inputs": {
"ckpt_name": "ltx-2.3-22b-distilled-fp8.safetensors"
},
"_meta": {
"title": "Load Checkpoint"
}
},
"326:317": {
"class_type": "LTXAVTextEncoderLoader",
"inputs": {
"ckpt_name": "ltx-2.3-22b-distilled-fp8.safetensors",
"device": "default",
"text_encoder": "gemma_3_12B_it_fp4_mixed.safetensors"
},
"_meta": {
"title": "Load LTXV Audio Text Encoder"
}
},
"326:318": {
"class_type": "LTXVConcatAVLatent",
"inputs": {
"audio_latent": [
"326:305",
0
],
"video_latent": [
"326:296",
0
]
},
"_meta": {
"title": "Concat AV Latent"
}
},
"326:319": {
"class_type": "PrimitiveStringMultiline",
"inputs": {
"value": [
"330",
0
]
},
"_meta": {
"title": "Prompt"
}
},
"326:323": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "a * b + 1",
"values.a": [
"326:301",
0
],
"values.b": [
"326:300",
0
]
},
"_meta": {
"title": "Math Expression (length)"
}
},
"76:11": {
"class_type": "ModelSamplingAuraFlow",
"inputs": {
"model": [
"76:28",
0
],
"sampling": "flow",
"shift": 3
},
"_meta": {
"title": "ModelSamplingAuraFlow"
}
},
"76:13": {
"class_type": "EmptySD3LatentImage",
"inputs": {
"batch_size": 1,
"height": 512,
"width": 912
},
"_meta": {
"title": "EmptySD3LatentImage"
}
},
"76:27": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"76:30",
0
],
"text": [
"77",
0
]
},
"_meta": {
"title": "CLIP Text Encode (Prompt)"
}
},
"76:28": {
"class_type": "UNETLoader",
"inputs": {
"unet_name": "z_image_turbo_bf16.safetensors",
"weight_dtype": "default"
},
"_meta": {
"title": "Load Diffusion Model"
}
},
"76:29": {
"class_type": "VAELoader",
"inputs": {
"vae_name": "ae.safetensors"
},
"_meta": {
"title": "Load VAE"
}
},
"76:3": {
"class_type": "KSampler",
"inputs": {
"cfg": 1,
"denoise": 1,
"latent_image": [
"76:13",
0
],
"model": [
"76:11",
0
],
"negative": [
"76:33",
0
],
"positive": [
"76:27",
0
],
"sampler_name": "res_multistep",
"scheduler": "simple",
"seed": 65154781543635,
"steps": 8
},
"_meta": {
"title": "KSampler"
}
},
"76:30": {
"class_type": "CLIPLoader",
"inputs": {
"clip_name": "qwen_3_4b.safetensors",
"device": "default",
"type": "lumina2"
},
"_meta": {
"title": "Load CLIP"
}
},
"76:33": {
"class_type": "ConditioningZeroOut",
"inputs": {
"conditioning": [
"76:27",
0
]
},
"_meta": {
"title": "Conditioning Zero Out"
}
},
"76:337": {
"class_type": "UpscaleModelLoader",
"inputs": {
"model_name": "4x-UltraSharp.pth"
},
"_meta": {
"title": "Load Upscale Model"
}
},
"76:63": {
"class_type": "VAEDecode",
"inputs": {
"samples": [
"76:3",
0
],
"vae": [
"76:29",
0
]
},
"_meta": {
"title": "VAE Decode"
}
},
"76:70": {
"class_type": "FL_UpscaleModel",
"inputs": {
"batch_size": 1,
"downscale_by": 0.5,
"image": [
"76:63",
0
],
"precision": "32",
"rescale_method": "bicubic",
"upscale_model": [
"76:337",
0
]
},
"_meta": {
"title": "FL Upscale Model"
}
},
"76:71": {
"class_type": "FL_KsamplerPlus",
"inputs": {
"batch_size": 4,
"cfg": 1,
"denoise": 0.2,
"image": [
"76:70",
0
],
"input_type": "image",
"model": [
"76:11",
0
],
"negative": [
"76:33",
0
],
"overlap": 0.05,
"positive": [
"76:27",
0
],
"sampler_name": "res_multistep",
"scheduler": "simple",
"seed": 974,
"steps": 9,
"use_sliced_conditioning": True,
"vae": [
"76:29",
0
],
"x_slices": 1,
"y_slices": 2
},
"_meta": {
"title": "FL KSampler Plus"
}
},
"76:8": {
"class_type": "VAEDecode",
"inputs": {
"samples": [
"76:71",
3
],
"vae": [
"76:29",
0
]
},
"_meta": {
"title": "VAE Decode"
}
}
})
# run() also passes api_key to the partner nodes in this workflow.
job = client.run(workflow, api_key=api_key)Preguntas y respuestas
Necesitas que los nodos personalizados AILab_QwenVL carguen correctamente; dependen de recursos Qwen‑VL para la mejora de prompt. Los nodos de síntesis de imagen y video (e9d2dda8‑… y 99c27236‑…) usan la configuración de modelo/checkpoint que el flujo provee o que conectes. Si ComfyUI reporta modelos faltantes, sigue las advertencias del nodo para descargar o apuntar a los archivos correctos.
Prueba aumentar la fuerza de consistencia en el nodo de video, bajar la fuerza del ruido y mantener una semilla fija en la etapa de imagen. Prompts claros y específicos desde AILab_QwenVL_PromptEnhancer (sujetos, cámara, estilo) también ayudan. Clips cortos y resoluciones moderadas son más fáciles de estabilizar durante la iteración.
Baja la resolución, reduce los pasos en el nodo de imagen (e9d2dda8‑…), usa menos cuadros o FPS en el nodo de video (99c27236‑…) y mantén una semilla fija. Usa PreviewAny para validar la dirección antes de hacer un render de calidad completa.
Ambos. Puedes detenerte tras la etapa de imagen y exportar imágenes fijas (SaveImage), o alimentar imágenes existentes/referencia a las etapas de prompt y video para producir movimiento. El camino completo es texto a video, pero las etapas son modulares y puedes combinarlas.
Flujos de trabajo relacionados
- AACE-Step
ACE-Step 1.5 Generación de Música (4B LLM)
- NNodo asociado
AI on the Lot 2026 - QwenVL - i2t
- NNodo asociado
AI on the Lot 2026 - QwenVL - Mejorador de Prompts
- Nodo asociado
AI on the Lot 2026_LTX-2.3_IC LoRA (Union Control)
- NNodo asociado
Arrow2: Image to SVG
- NNodo asociado
Arrow2: Text to SVG
- ZZ-Image-Turbo
Cambiar nodo
- Seedance 2.0
Captura de Movimiento por Profundidad con Seedance 2.0
- NNodo asociado
Collages en Movimiento
- Gemini3 Pro Image Preview, Google, Nano Banana Pro
Colorear ilustración lineal
- Flux.2 Dev, Flux.2 Klein, GPT-Image-1.5, Grok, Nano Banana Pro, Qwen-Image-Edit, Seedream
Comparación de 1 entrada y múltiples modelos de edición
- Wan2.2, Wan
Control Fun Wan 2.2 14B