LTX 2.3 - Lipdub LoRA + Voice Clone

드라이빙 비디오를 업로드하고 원하는 대사를 프롬프트로 입력해 LTX 2.3으로 비디오 립덥을 생성합니다. 이후 Chatterbox를 사용해 더빙된 오디오를 원래 캐릭터의 목소리로 다시 보이스 클론합니다. 드라이빙 비디오에서 캐릭터의 발화를 바꾸기 위한 완전한 오픈 소스 워크플로입니다.

Input

Describe the person and the scene, and write the new line in quotes after 'saying:'.

A clip of one person talking, with its audio. Their face and voice are reused.

First-pass height; the output is twice this (544 → 1088).

Default: 544

First-pass width; the output is twice this (960 → 1920).

Default: 960

Advanced settings

What to avoid.

Leave empty for a new result each run. Enter a number to repeat one.

Output
00:00
Example

예시 사용해 보기

이 워크플로 정보

이 워크플로는 LTX 2.3과 Chatterbox 음성 변환을 중심으로 완전한 오픈 소스 립덥 파이프라인을 구성합니다. 말하는 사람의 "드라이빙" 비디오와, 말하게 하고 싶은 대사를 제공하면 됩니다. LoadVideo가 클립을 입력받고, GetVideoComponents가 프레임, FPS, 원본 오디오를 추출합니다. 입력한 대사는 PrimitiveStringMultiline 프롬프트에서 RegexReplace를 거쳐 문장부호와 공백을 정리한 다음, LTX 2.3 Lipdub 노드(커스텀 노드 ID 1e1eaad5-a949-4d3e-9a68-694e64a936a0)로 들어갑니다. 이 노드는 Lipdub LoRA 파인튜닝을 LTX 2.3에 적용해, 피사체의 정체성, 머리 움직임, 장면 맥락을 유지하면서 스크립트에 맞게 입 모양 타이밍을 재조정합니다.

오디오 측면에서는 같은 대사로 임시 더빙 트랙을 만든 뒤 FL_ChatterboxVC로 전달합니다. GetVideoComponents에서 가져온 원본 비디오 오디오를 음성 레퍼런스로 사용해, Chatterbox VC가 더빙을 화자의 음색과 발성 특성에 맞게 다시 보이싱합니다. 마지막으로 CreateVideo가 편집된 프레임과 클론된 오디오를 소스 FPS로 합치고, SaveVideo가 최종 립싱크 렌더를 저장합니다. MarkdownNote의 크기 규칙에 유의하세요. 입력 너비 × 높이는 의도한 최종 크기의 절반으로 설정해야 합니다(예: 960×544 입력은 약 1920×1088 출력).

질문과 답변