오디오 기반 캐릭터 립싱크 영상

캐릭터 이미지와 오디오 파일을 업로드하세요. 제공된 오디오 트랙에 맞춰 캐릭터의 입 모양이 움직이는 립싱크 동영상을 생성합니다.

Input

Speech or singing the character lip-syncs to.

  • 0:00 / 0:00

One person, face clearly visible. Cropped to the width × height below.

Describe the performance: expression, head and body movement, camera.

Pixels, a multiple of 16.

Frames at 25 fps: set it to audio seconds × 25 (the graph can't read the audio length). The example's 17.6 s clip used 440.

Default: 440

Pixels, a multiple of 16.

Advanced settings

What to avoid.

Leave empty for a new result each run. Enter a number to repeat one.

Default: 7

Output
00:00
Example

예시 사용해 보기

이 워크플로 정보

이 ComfyUI 워크플로는 정적인 캐릭터 이미지와 오디오 파일을 결합해 립싱크 비디오를 만들도록 설계되었습니다. Wan2.1 InfiniteTalk 모델의 기능을 활용해 업로드한 오디오를 분석하고, 말하는 내용에 맞는 입 움직임을 생성하여 자연스러운 립싱크 효과를 만듭니다. 프로세스는 오디오 파일을 불러와 분석 준비를 하는 'LoadAudio' 노드에서 시작합니다. 동시에 'LoadImage' 노드로 애니메이션을 적용할 캐릭터 이미지를 업로드할 수 있습니다. 워크플로는 'ComfyUI-WanVideoWrapper' 및 'audio-separation-nodes-comfyui' 같은 커스텀 노드를 활용해 오디오를 처리하고 시각 요소와 동기화합니다. 최종 출력은 'SaveVideo' 노드로 저장되는 비디오 파일이며, 캐릭터의 입 움직임이 오디오 트랙과 정확히 맞물리도록 구성됩니다.

기술적으로 이 워크플로는 고급 오디오 분석 및 비디오 생성 기법을 사용한다는 점이 강점입니다. 'audio-separation-nodes-comfyui' 노드는 오디오를 입 모양에 매핑할 수 있는 구성 요소로 분해하는 데 핵심이며, 'comfyui-kjnodes'는 이러한 움직임을 캐릭터 이미지에 자연스럽게 블렌딩하는 정교한 작업을 담당합니다. 복잡한 애니메이션 소프트웨어 없이도 애니메이션 비디오를 만들고 싶은 콘텐츠 제작자에게 특히 유용하며, 시각 미디어를 통해 스토리텔링과 몰입도를 높이는 데 쓰기 좋은 접근성 높은 도구입니다.

질문과 답변