Wan VACE Control видео
Генерация видео путем управления входными видео и опорными изображениями с использованием Wan VACE.
Попробовать пример
Об этом рабочем процессе
Wan2.1 VACE Control Video — это направляемый рабочий процесс video-to-video, который сохраняет движение и тайминг исходного видео, одновременно меняя стиль или персонажа по текстовому запросу и референс-изображению. Он загружает чекпойнты Wan2.1 VACE (1.3B или 14B) через UNETLoader и VAELoader, кодирует ваш текст с помощью CLIPTextEncode и задаёт условие генерации контрольными сигналами, полученными из простой предобработки изображения (по умолчанию Canny). GetVideoComponents считывает кадры и FPS из входного клипа, а TrimVideoLatent удерживает латентную последовательность выровненной с выбранным диапазоном кадров и разрешением перед выборкой.
Внутри ModelSamplingSD3 настраивает ожидаемый график сэмплера для Wan2.1 VACE, а KSampler выполняет денойзинг последовательности видео-латентов, собранной WanVaceToVideo из вашего контрольного видео, промпта и референс-изображения. VAEDecode преобразует финальные латенты обратно в кадры, CreateVideo собирает их с нужным FPS, и вы можете экспортировать либо MP4 (SaveVideo), либо анимированный WebP (SaveAnimatedWEBP). Опциональная CausVid LoRA (LoraLoader) может ускорить или стабилизировать движение при очень малом числе шагов, но может потребоваться настройка силы. Модель 14B даёт более высокую точность (и поддерживает 720p), но работает медленнее и требует больше VRAM; вариант 1.3B быстрее и лучше подходит для выходов 480p.
Вопросы и ответы
Выбирайте 1.3B для быстрой итерации и вывода 480p. Берите 14B, если нужна более высокая детализация или 720p. Модель 14B медленнее и требует больше VRAM, но обычно даёт более чистые детали и лучшую временную стабильность.
Снизьте силу LoRA до 0.3–0.5, немного увеличьте steps (например, с 2 до 3–4) и держите CFG около 1.0 для пресета LoRA. Если артефакты остаются, полностью обойдите LoRA или ослабьте пороги Canny, чтобы контуры меньше ограничивали генерацию.
TrimVideoLatent позволяет ограничить или выровнять диапазон кадров. GetVideoComponents считывает FPS из исходника; вы можете оставить его или переопределить в CreateVideo. Более короткие клипы и умеренный FPS снизят потребление VRAM и ускорят семплинг.
Да. Замените узел Canny на другой препроцессор comfyui_controlnet_aux (например, Lineart или Depth) и направьте его выход на тот же вход управления, который использует WanVaceToVideo. Разные препроцессоры меняют то, насколько строго сохраняется структура.