LTX-2 поза в видео

Генерировать высококачественные видео из направления позы с синхронизированной генерацией аудио-видео с использованием LTX-2. Особенности: точный контроль позы, выразительное движение и эффективная производительность.

Input

The person to animate, full body and facing the camera; it becomes the first frame.

A clip of someone moving; their body pose (DWPose) drives the character. Match the framing of the character image.

Describe the scene, the motion and any sound.

Number of frames to read from the pose video (8n+1, e.g. 97, 121); 121 frames at 24 fps is about 5 seconds.

Default: 121

1280×720 is the default; the model snaps to the nearest size it supports.

1280×720 is the default; the model snaps to the nearest size it supports.

Advanced settings

Frames per second; set it to the pose video's rate.

Default: 24

Don't use the character image as the first frame (the pose still follows the video).

What to avoid.

Leave empty for a new result each run. Enter a number to repeat one.

Output
00:00
Example

Попробовать пример

Об этом рабочем процессе

Рабочий процесс LTX-2 Pose to Video предназначен для преобразования позового управления в качественное видео с синхронизированной генерацией аудио и видео. Используя модель LTX-2 от Lightricks, этот рабочий процесс даёт точный контроль позы и выразительного движения, что подходит для создания динамичного видео. Он включает разные ноды, такие как GetVideoComponents, PreviewImage и SaveVideo, которые помогают разложить видео на компоненты, просмотреть кадры и сохранить финальный выход. Важная особенность — использование пользовательских нод comfyui_controlnet_aux, которые повышают точность контроля позы и выражения движения.

Технически рабочий процесс начинается с предобработки видео и изображений с помощью нод вроде LoadVideo и ResizeImageMaskNode. Затем DWPreprocessor уточняет настройки видео, обеспечивая оптимальное число кадров и разрешение. Рабочий процесс поддерживает разрешения до 1920x1088, хотя по умолчанию использует 720p для эффективности. Число кадров должно делиться на 8 плюс 1, чтобы обеспечить плавные переходы и синхронизацию. Этот рабочий процесс особенно полезен авторам, которым нужно видео с детализированным движением и синхронизированным аудио, используя возможности модели LTX-2 для получения результата профессионального уровня.

Вопросы и ответы