AI on the Lot 2026 - Final WF - t2v
سير العمل السادس والأخير الذي تم إصداره لـ AI on the Lot 2026، ومتاح لحضور ورشة ComfyUI 101 لفتحه والمتابعة إن رغبوا. سير عمل نص إلى فيديو يجمع كل ما تم بناؤه واستخدامه في سير العمل السابقة ضمن إعداد كامل.
حول
AI on the Lot 2026 - Final WF - t2v هو مسار عمل كامل لتحويل النص إلى فيديو يجمع بين تصميم الـ prompt، وتوليد الصور، وتجميع الفيديو داخل ComfyUI. يستخدم AILab_QwenVL و AILab_QwenVL_PromptEnhancer لتحويل فكرة بسيطة إلى prompt غني ومنظّم. بعد ذلك، يولّد سير العمل إطارات مفتاحية عالية الجودة عبر مرحلة توليد الصور (معرّف العقدة e9d2dda8-2509-4d8d-9702-a9bf00c26650)، ويعاين النتائج باستخدام PreviewAny، ثم يبني مقطع فيديو متماسكًا في مرحلة الفيديو (معرّف العقدة 99c27236-513e-427c-9ed4-49406365f0d3). توفّر SaveImage و SaveVideo عمليات تصدير نظيفة وقابلة لإعادة الإنتاج في كل مرحلة.
تقنيًا، التدفق هو: يدخل الـ prompt النصي الأساسي (ومختياريًا صورة مرجعية) إلى AILab_QwenVL لاستخراج تفاصيل المشهد وإثرائها. يقوم AILab_QwenVL_PromptEnhancer بتنقيح النص إلى prompt مناسب للنموذج مع موضوعات أوضح وأنماط وأوصاف للقطات. يذهب هذا الـ prompt إلى عقدة مولّد الصور (e9d2dda8-2509-4d8d-9702-a9bf00c26650) لإنتاج إطار مفتاحي واحد أو أكثر مع تحكّم بالبذرة وبدقة تختارها. ثم تُمرَّر هذه الإطارات إلى عقدة الفيديو (99c27236-513e-427c-9ed4-49406365f0d3) التي تُركّب مقطعًا وفق إعدادات المدة والحركة/الاتساق. يساعدك PreviewAny على التكرار بسرعة، بينما تثبّت SaveImage و SaveVideo الصور الثابتة أو الفيديو النهائي بعد الرضا عن النتيجة. وبما أن المراحل معيارية، يمكنك استخدامه لتحويل النص إلى صورة فقط، أو الصورة إلى فيديو فقط، أو مسارًا كاملًا من النص إلى فيديو على نفس المخطط.
ما تقدّمه
- جارٍ قراءة سير العمل
يعمل في ComfyUI. لا يمكن تشغيل سير العمل هذا على هذه الصفحة. افتحه في Comfy Cloud مع تحميل كل شيء، أو نزّله لاستخدامه في ComfyUI الخاص بك.
جرّبه في Cloudداخل سير العمل
معاينة للقراءة فقط لرسم العقد البياني. افتحه في Comfy Cloud أو نزّله لتعديل العقد.
Loading the graph
Open full-size workflow previewالملفات في سير العمل هذا
- المؤلف
- Julien Durand | MJM
يتطلب عُقدًا مخصصة
- جارٍ قراءة سير العمل
استخدم سير العمل هذا من خلال التعليمات البرمجية
يتم إنشاؤه من مخطط سير العمل والمدخلات عندما يكون ذلك ممكنًا؛ وإلا فتُعرض الأمثلة المخزنة. راجع بيانات الاعتماد ونقاط النهاية قبل تشغيل التعليمات البرمجية، إذ قد تترتب عليها رسوم.
What you need
- Runs on
- Comfy Cloud
- المفتاح
- COMFY_API_KEY
يتطلب خطة Cloud مدفوعة ورصيدًا.
# Python 3.10+: pip install comfy-sdk==0.4.0
import os
from comfy_sdk import Comfy
api_key = os.environ.get("COMFY_API_KEY", "").strip()
if not api_key: raise RuntimeError("Set COMFY_API_KEY")
os.environ.setdefault("COMFY_BASE_URL", "https://cloud.comfy.org")
client = Comfy(api_key=api_key)
workflow = client.workflows.from_json({
"74": {
"class_type": "SaveImage",
"inputs": {
"filename_prefix": "z-image-turbo",
"images": [
"76:8",
0
]
},
"_meta": {
"title": "Save Image"
}
},
"77": {
"class_type": "AILab_QwenVL_PromptEnhancer",
"inputs": {
"attention_mode": "auto",
"custom_system_prompt": "You are an expert prompt writer for a photorealistic image generator. Given a short concept, expand it into a detailed prompt covering subject, lighting, setting, lens, and mood. One dense paragraph. No bullet points.",
"device": "auto",
"enhancement_style": "📝 Enhance",
"keep_model_loaded": True,
"max_tokens": 256,
"model_name": "Qwen3-VL-8B-Instruct",
"prompt_text": "a boxer alone in the locker room after a fight",
"quantization": "None (FP16)",
"repetition_penalty": 1.1,
"seed": 1,
"temperature": 0.7,
"top_p": 0.9,
"use_torch_compile": False
},
"_meta": {
"title": "QwenVL Prompt Enhancer"
}
},
"78": {
"class_type": "PreviewAny",
"inputs": {
"source": [
"77",
0
]
},
"_meta": {
"title": "Preview as Text"
}
},
"324": {
"class_type": "SaveVideo",
"inputs": {
"filename_prefix": "video/LTX_2.3_i2v",
"format": "auto",
"format.codec": "auto",
"video": [
"326:310",
0
]
},
"_meta": {
"title": "Save Video"
}
},
"330": {
"class_type": "AILab_QwenVL",
"inputs": {
"attention_mode": "auto",
"custom_prompt": "You are writing a motion prompt for an image-to-video generator that creates 5-second clips with synced audio. Describe the motion that unfolds over the next 5 seconds. State subject motion (or stillness) and camera motion as separate sentences. Be explicit about what does NOT move to prevent hallucinations. Include environmental motion (smoke, fog, light, water, fabric). Optional ambient audio at the end. Do not redescribe static visual content. One paragraph focused on motion.",
"keep_model_loaded": True,
"max_tokens": 512,
"model_name": "Qwen3-VL-8B-Instruct",
"preset_prompt": "🎬 Cinematic Description",
"quantization": "None (FP16)",
"seed": 1
},
"_meta": {
"title": "QwenVL"
}
},
"331": {
"class_type": "PreviewAny",
"inputs": {
"source": [
"330",
0
]
},
"_meta": {
"title": "Preview as Text"
}
},
"326:276": {
"class_type": "RandomNoise",
"inputs": {
"noise_seed": 42
},
"_meta": {
"title": "RandomNoise"
}
},
"326:277": {
"class_type": "RandomNoise",
"inputs": {
"noise_seed": 1072283399870947
},
"_meta": {
"title": "RandomNoise"
}
},
"326:278": {
"class_type": "LTXVConcatAVLatent",
"inputs": {
"audio_latent": [
"326:307",
1
],
"video_latent": [
"326:288",
0
]
},
"_meta": {
"title": "Concat AV Latent"
}
},
"326:279": {
"class_type": "LTXVAudioVAELoader",
"inputs": {
"ckpt_name": "ltx-2.3-22b-distilled-fp8.safetensors"
},
"_meta": {
"title": "Load LTXV Audio VAE"
}
},
"326:280": {
"class_type": "KSamplerSelect",
"inputs": {
"sampler_name": "euler_cfg_pp"
},
"_meta": {
"title": "KSamplerSelect"
}
},
"326:281": {
"class_type": "ManualSigmas",
"inputs": {
"sigmas": "0.85, 0.7250, 0.4219, 0.0"
},
"_meta": {
"title": "ManualSigmas"
}
},
"326:282": {
"class_type": "CFGGuider",
"inputs": {
"cfg": 1,
"model": [
"326:285",
0
],
"negative": [
"326:284",
1
],
"positive": [
"326:284",
0
]
},
"_meta": {
"title": "CFG Guider"
}
},
"326:283": {
"class_type": "SamplerCustomAdvanced",
"inputs": {
"guider": [
"326:314",
0
],
"latent_image": [
"326:318",
0
],
"noise": [
"326:277",
0
],
"sampler": [
"326:291",
0
],
"sigmas": [
"326:306",
0
]
},
"_meta": {
"title": "SamplerCustomAdvanced"
}
},
"326:284": {
"class_type": "LTXVCropGuides",
"inputs": {
"latent": [
"326:307",
0
],
"negative": [
"326:304",
1
],
"positive": [
"326:304",
0
]
},
"_meta": {
"title": "LTXVCropGuides"
}
},
"326:285": {
"class_type": "LoraLoaderModelOnly",
"inputs": {
"lora_name": "ltx-2.3-22b-distilled-lora-384-1.1.safetensors",
"model": [
"326:316",
0
],
"strength_model": 0.5
},
"_meta": {
"title": "Load LoRA"
}
},
"326:286": {
"class_type": "ResizeImagesByLongerEdge",
"inputs": {
"images": [
"326:290",
0
],
"longer_edge": 1536
},
"_meta": {
"title": "Resize Images by Longer Edge (DEPRECATED)"
}
},
"326:287": {
"class_type": "LTXVLatentUpsampler",
"inputs": {
"samples": [
"326:307",
0
],
"upscale_model": [
"326:311",
0
],
"vae": [
"326:316",
2
]
},
"_meta": {
"title": "LTXVLatentUpsampler"
}
},
"326:288": {
"class_type": "LTXVImgToVideoInplace",
"inputs": {
"bypass": [
"326:302",
0
],
"image": [
"326:289",
0
],
"latent": [
"326:287",
0
],
"strength": 1,
"vae": [
"326:316",
2
]
},
"_meta": {
"title": "LTXVImgToVideoInplace"
}
},
"326:289": {
"class_type": "LTXVPreprocess",
"inputs": {
"image": [
"326:286",
0
],
"img_compression": 18
},
"_meta": {
"title": "LTXV Preprocess"
}
},
"326:290": {
"class_type": "ResizeImageMaskNode",
"inputs": {
"input": [
"76:8",
0
],
"resize_type": "scale dimensions",
"resize_type.crop": "center",
"resize_type.height": [
"326:299",
0
],
"resize_type.width": [
"326:312",
0
],
"scale_method": "lanczos"
},
"_meta": {
"title": "Resize Image/Mask"
}
},
"326:291": {
"class_type": "KSamplerSelect",
"inputs": {
"sampler_name": "euler_ancestral_cfg_pp"
},
"_meta": {
"title": "KSamplerSelect"
}
},
"326:292": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "a/2",
"values.a": [
"326:312",
0
]
},
"_meta": {
"title": "Math Expression"
}
},
"326:294": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "a/2",
"values.a": [
"326:299",
0
]
},
"_meta": {
"title": "Math Expression"
}
},
"326:295": {
"class_type": "EmptyLTXVLatentVideo",
"inputs": {
"batch_size": 1,
"height": [
"326:294",
1
],
"length": [
"326:323",
1
],
"width": [
"326:292",
1
]
},
"_meta": {
"title": "Empty LTXV Latent Video"
}
},
"326:296": {
"class_type": "LTXVImgToVideoInplace",
"inputs": {
"bypass": [
"326:302",
0
],
"image": [
"326:289",
0
],
"latent": [
"326:295",
0
],
"strength": 0.7,
"vae": [
"326:316",
2
]
},
"_meta": {
"title": "LTXVImgToVideoInplace"
}
},
"326:297": {
"class_type": "LTXVAudioVAEDecode",
"inputs": {
"audio_vae": [
"326:279",
0
],
"samples": [
"326:309",
1
]
},
"_meta": {
"title": "LTXV Audio VAE Decode"
}
},
"326:298": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "a",
"values.a": [
"326:300",
0
]
},
"_meta": {
"title": "Math Expression"
}
},
"326:299": {
"class_type": "PrimitiveInt",
"inputs": {
"value": 1080
},
"_meta": {
"title": "Height"
}
},
"326:300": {
"class_type": "PrimitiveInt",
"inputs": {
"value": 25
},
"_meta": {
"title": "Frame Rate"
}
},
"326:301": {
"class_type": "PrimitiveInt",
"inputs": {
"value": 5
},
"_meta": {
"title": "Duration"
}
},
"326:302": {
"class_type": "PrimitiveBoolean",
"inputs": {
"value": False
},
"_meta": {
"title": "Switch to Text to Video?"
}
},
"326:303": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"326:317",
0
],
"text": [
"326:319",
0
]
},
"_meta": {
"title": "CLIP Text Encode (Prompt)"
}
},
"326:304": {
"class_type": "LTXVConditioning",
"inputs": {
"frame_rate": [
"326:298",
0
],
"negative": [
"326:313",
0
],
"positive": [
"326:303",
0
]
},
"_meta": {
"title": "LTXVConditioning"
}
},
"326:305": {
"class_type": "LTXVEmptyLatentAudio",
"inputs": {
"audio_vae": [
"326:279",
0
],
"batch_size": 1,
"frame_rate": [
"326:298",
1
],
"frames_number": [
"326:323",
1
]
},
"_meta": {
"title": "Empty LTXV Latent Audio"
}
},
"326:306": {
"class_type": "ManualSigmas",
"inputs": {
"sigmas": "1.0, 0.99375, 0.9875, 0.98125, 0.975, 0.909375, 0.725, 0.421875, 0.0"
},
"_meta": {
"title": "ManualSigmas"
}
},
"326:307": {
"class_type": "LTXVSeparateAVLatent",
"inputs": {
"av_latent": [
"326:283",
0
]
},
"_meta": {
"title": "Separate AV Latent"
}
},
"326:308": {
"class_type": "SamplerCustomAdvanced",
"inputs": {
"guider": [
"326:282",
0
],
"latent_image": [
"326:278",
0
],
"noise": [
"326:276",
0
],
"sampler": [
"326:280",
0
],
"sigmas": [
"326:281",
0
]
},
"_meta": {
"title": "SamplerCustomAdvanced"
}
},
"326:309": {
"class_type": "LTXVSeparateAVLatent",
"inputs": {
"av_latent": [
"326:308",
0
]
},
"_meta": {
"title": "Separate AV Latent"
}
},
"326:310": {
"class_type": "CreateVideo",
"inputs": {
"audio": [
"326:297",
0
],
"bit_depth": "auto",
"codec": "none",
"color_space": "sRGB",
"fps": [
"326:298",
0
],
"images": [
"326:315",
0
]
},
"_meta": {
"title": "Create Video"
}
},
"326:311": {
"class_type": "LatentUpscaleModelLoader",
"inputs": {
"model_name": "ltx-2.3-spatial-upscaler-x2-1.1.safetensors"
},
"_meta": {
"title": "Load Latent Upscale Model"
}
},
"326:312": {
"class_type": "PrimitiveInt",
"inputs": {
"value": 1920
},
"_meta": {
"title": "Width"
}
},
"326:313": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"326:317",
0
],
"text": "pc game, console game, video game, cartoon, childish, ugly"
},
"_meta": {
"title": "CLIP Text Encode (Prompt)"
}
},
"326:314": {
"class_type": "CFGGuider",
"inputs": {
"cfg": 1,
"model": [
"326:285",
0
],
"negative": [
"326:304",
1
],
"positive": [
"326:304",
0
]
},
"_meta": {
"title": "CFG Guider"
}
},
"326:315": {
"class_type": "VAEDecodeTiled",
"inputs": {
"overlap": 64,
"samples": [
"326:309",
0
],
"temporal_overlap": 4,
"temporal_size": 4096,
"tile_size": 768,
"vae": [
"326:316",
2
]
},
"_meta": {
"title": "VAE Decode (Tiled)"
}
},
"326:316": {
"class_type": "CheckpointLoaderSimple",
"inputs": {
"ckpt_name": "ltx-2.3-22b-distilled-fp8.safetensors"
},
"_meta": {
"title": "Load Checkpoint"
}
},
"326:317": {
"class_type": "LTXAVTextEncoderLoader",
"inputs": {
"ckpt_name": "ltx-2.3-22b-distilled-fp8.safetensors",
"device": "default",
"text_encoder": "gemma_3_12B_it_fp4_mixed.safetensors"
},
"_meta": {
"title": "Load LTXV Audio Text Encoder"
}
},
"326:318": {
"class_type": "LTXVConcatAVLatent",
"inputs": {
"audio_latent": [
"326:305",
0
],
"video_latent": [
"326:296",
0
]
},
"_meta": {
"title": "Concat AV Latent"
}
},
"326:319": {
"class_type": "PrimitiveStringMultiline",
"inputs": {
"value": [
"330",
0
]
},
"_meta": {
"title": "Prompt"
}
},
"326:323": {
"class_type": "ComfyMathExpression",
"inputs": {
"expression": "a * b + 1",
"values.a": [
"326:301",
0
],
"values.b": [
"326:300",
0
]
},
"_meta": {
"title": "Math Expression (length)"
}
},
"76:11": {
"class_type": "ModelSamplingAuraFlow",
"inputs": {
"model": [
"76:28",
0
],
"sampling": "flow",
"shift": 3
},
"_meta": {
"title": "ModelSamplingAuraFlow"
}
},
"76:13": {
"class_type": "EmptySD3LatentImage",
"inputs": {
"batch_size": 1,
"height": 512,
"width": 912
},
"_meta": {
"title": "EmptySD3LatentImage"
}
},
"76:27": {
"class_type": "CLIPTextEncode",
"inputs": {
"clip": [
"76:30",
0
],
"text": [
"77",
0
]
},
"_meta": {
"title": "CLIP Text Encode (Prompt)"
}
},
"76:28": {
"class_type": "UNETLoader",
"inputs": {
"unet_name": "z_image_turbo_bf16.safetensors",
"weight_dtype": "default"
},
"_meta": {
"title": "Load Diffusion Model"
}
},
"76:29": {
"class_type": "VAELoader",
"inputs": {
"vae_name": "ae.safetensors"
},
"_meta": {
"title": "Load VAE"
}
},
"76:3": {
"class_type": "KSampler",
"inputs": {
"cfg": 1,
"denoise": 1,
"latent_image": [
"76:13",
0
],
"model": [
"76:11",
0
],
"negative": [
"76:33",
0
],
"positive": [
"76:27",
0
],
"sampler_name": "res_multistep",
"scheduler": "simple",
"seed": 65154781543635,
"steps": 8
},
"_meta": {
"title": "KSampler"
}
},
"76:30": {
"class_type": "CLIPLoader",
"inputs": {
"clip_name": "qwen_3_4b.safetensors",
"device": "default",
"type": "lumina2"
},
"_meta": {
"title": "Load CLIP"
}
},
"76:33": {
"class_type": "ConditioningZeroOut",
"inputs": {
"conditioning": [
"76:27",
0
]
},
"_meta": {
"title": "Conditioning Zero Out"
}
},
"76:337": {
"class_type": "UpscaleModelLoader",
"inputs": {
"model_name": "4x-UltraSharp.pth"
},
"_meta": {
"title": "Load Upscale Model"
}
},
"76:63": {
"class_type": "VAEDecode",
"inputs": {
"samples": [
"76:3",
0
],
"vae": [
"76:29",
0
]
},
"_meta": {
"title": "VAE Decode"
}
},
"76:70": {
"class_type": "FL_UpscaleModel",
"inputs": {
"batch_size": 1,
"downscale_by": 0.5,
"image": [
"76:63",
0
],
"precision": "32",
"rescale_method": "bicubic",
"upscale_model": [
"76:337",
0
]
},
"_meta": {
"title": "FL Upscale Model"
}
},
"76:71": {
"class_type": "FL_KsamplerPlus",
"inputs": {
"batch_size": 4,
"cfg": 1,
"denoise": 0.2,
"image": [
"76:70",
0
],
"input_type": "image",
"model": [
"76:11",
0
],
"negative": [
"76:33",
0
],
"overlap": 0.05,
"positive": [
"76:27",
0
],
"sampler_name": "res_multistep",
"scheduler": "simple",
"seed": 974,
"steps": 9,
"use_sliced_conditioning": True,
"vae": [
"76:29",
0
],
"x_slices": 1,
"y_slices": 2
},
"_meta": {
"title": "FL KSampler Plus"
}
},
"76:8": {
"class_type": "VAEDecode",
"inputs": {
"samples": [
"76:71",
3
],
"vae": [
"76:29",
0
]
},
"_meta": {
"title": "VAE Decode"
}
}
})
# run() also passes api_key to the partner nodes in this workflow.
job = client.run(workflow, api_key=api_key)الأسئلة والأجوبة
تحتاج إلى نجاح تحميل عقد AILab_QwenVL المخصصة؛ فهي تعتمد على أصول Qwen‑VL لتحسين الـ prompt. عقد توليد الصور والفيديو (e9d2dda8‑… و 99c27236‑…) تستخدم أي إعداد لنموذج/Checkpoint يوفّره سير العمل أو تقوم بتوصيله. إذا أبلغ ComfyUI عن نماذج مفقودة، اتبع تحذيرات العقد لتنزيل الملفات الصحيحة أو توجيهها إلى المسارات الصحيحة.
جرّب زيادة قوة الحركة/الاتساق في عقدة الفيديو، وتقليل قوة الضجيج، وتثبيت البذرة في مرحلة الصورة. كما تساعد الـ prompts الواضحة والمحددة من AILab_QwenVL_PromptEnhancer (الموضوعات، الكاميرا، الأسلوب) أيضًا. المقاطع الأقصر والدقات المتوسطة أسهل في التثبيت أثناء التكرار.
خفّض الدقة، وقلّل عدد الخطوات في عقدة الصورة (e9d2dda8‑…)، واستخدم مدة مقطع أو fps أقل في عقدة الفيديو (99c27236‑…)، وثبّت البذرة. استخدم PreviewAny للتحقق من الاتجاه قبل الالتزام بتصيير بجودة كاملة.
كلاهما. يمكنك التوقف بعد مرحلة الصورة وتصدير صور ثابتة (SaveImage)، أو تمرير صور موجودة/مرجعية عبر مراحل الـ prompt والفيديو لإنتاج حركة. المسار من البداية للنهاية هو تحويل النص إلى فيديو، لكن المراحل معيارية بحيث يمكنك المزج والتبديل.
مهام سير عمل ذات صلة
- AACE-Step
ACE-Step 1.5 توليد الموسيقى (4B LLM)
- ععقدة شريكة
AI on the Lot 2026 - QwenVL - i2t
- ععقدة شريكة
AI on the Lot 2026 - QwenVL - مُحسّن الطلبات
- عقدة شريكة
AI on the Lot 2026_LTX-2.3_IC LoRA (Union Control)
- ععقدة شريكة
Arrow2: Image to SVG
- ععقدة شريكة
Arrow2: Text to SVG
- ElevenLabs
ElevenLabs: الكلام إلى نص
- ععقدة شريكة
Fish Audio: Speech to Text
- Flux, Flux.1
Flux.1 لورا العمق
- Google Gemini, Google
Google Gemini
- SSD1.5, Stability
Lotus Depth
- LTX-2, Lightricks
LTX-2 تحويل وضعية إلى فيديو