Wan 2.1 изображение в видео
Генерация видео из изображений с использованием Wan 2.1.
Попробовать пример
Об этом рабочем процессе
Этот рабочий процесс ComfyUI превращает одно изображение в короткое видео, используя image-to-video пайплайн Wan 2.1. Основа — нода WanImageToVideo, которая подготавливает временное кондиционирование (число кадров, fps и подсказки движения) и передаёт его в диффузию. Текстовое направление кодируется через CLIPTextEncode (на базе CLIPLoader, который загружает текстовый энкодер UMT5 XXL), а стартовое изображение встраивается через CLIPVisionEncode с весами из CLIPVisionLoader. База модели загружается через UNETLoader (Wan2.1) и VAELoader (Wan VAE). ModelSamplingSD3 задаёт правильный профиль sampling, а KSampler выполняет денойзинг по последовательности латентных кадров. Затем VAEDecode преобразует латенты в RGB-кадры, CreateVideo собирает их с выбранными fps/размером, а SaveVideo записывает результат на диск.
Рабочий процесс организован для наглядности: Step1 - Load models, Step2 - Upload start_image, Step3 - Video size, Step4 - Prompt. Вы задаёте ширину/высоту и частоту кадров в группе Video size, загружаете чистое исходное изображение через LoadImage и пишете текстовый промпт (и опциональный негативный промпт), чтобы направлять стиль и содержимое. Это удобно для анимации разворотов персонажа, лёгкой мимики в портретах или продуктовых hero-роликов из одного кадра — с предсказуемостью за счёт стартового изображения и воспроизводимостью через seed и настройки KSampler.
Вопросы и ответы
Загрузите Wan 2.1 UNet через UNETLoader, соответствующий VAE через VAELoader, текстовый энкодер UMT5 XXL через CLIPLoader (например, umt5_xxl_fp8_e4m3fn_scaled.safetensors), и CLIP vision-бэкбон через CLIPVisionLoader. Разместите файлы в папках моделей ComfyUI (например, models/unet, models/vae, models/text_encoders или models/clip, models/clip_vision) или укажите путь прямо в нодах загрузки.
Сделайте соотношение сторон стартового изображения таким же, как целевые ширина/высота в группе Video size. Перед загрузкой обрежьте исходник. Также помогает держать объект по центру и с хорошим освещением — так модели проще сохранять структуру при движении.
Уменьшите разрешение (ширина/высота), сократите число кадров и попробуйте меньше diffusion steps в KSampler. Начните с малого (меньше кадров, меньший размер), подтвердите внешний вид, затем повышайте параметры постепенно.
Да. Рабочий процесс кодирует текст через текстовый энкодер UMT5 XXL, который хорошо работает с английским и другими языками (например, китайским). Также можно передать негативный промпт через CLIPTextEncode, чтобы подавлять нежелательные артефакты или стили.
Чтобы усилить движение, добавляйте явные глаголы действия и убирайте слишком жёсткие описатели, которые фиксируют позу. Для более гладкого результата балансируйте число кадров и fps, держите разрешение разумным и уточняйте негативный промпт, чтобы убрать «шумные» фоны или лишние детали, которые могут мерцать.