LTX-2.3: ID LoRA

Bir metin istemi, referans görüntü ve kısa bir ses klibinden senkronize ses içeren kişiselleştirilmiş videolar oluşturun. Tek bir üretken modelde bir kişinin görünümünü ve sesini uyarlamak için ID-LoRA kullanın.

Input

A few seconds of the voice to copy. The video's speech is new, in this voice.

  • 0:00 / 0:00

The first frame: the person who speaks.

Three tagged sections: [VISUAL]: the shot and the movement; [SPEECH]: the exact words; [SOUNDS]: the voice's style and the ambience.

Long enough for the [SPEECH] line.

Pixels, a multiple of 16.

Pixels, a multiple of 16.

Advanced settings

What to avoid.

Leave empty for a new result each run. Enter a number to repeat one.

Output
00:00
Example

Bir örnek deneyin

Bu iş akışı hakkında

Bu ComfyUI iş akışı, LTX-2.3 modelini üç girdiye koşullandırarak kişiselleştirilmiş, dudak senkronlu video klipler oluşturur: bir referans görsel (görünüm), kısa bir ses klibi (zamanlama ve vokal tarzı) ve yapılandırılmış bir istem (sahne, metin ve ses bağlamı). Temel mantık, LTX-2.3 üretimini ID-LoRA kimlik koşullandırmasıyla yöneten bir alt grafikte (özelleştirilmiş düğüm, ID: 98ee9e5b-467b-40aa-a534-36033f27d0b4) toplanmıştır. LoadImage yüz/poz referansını sağlar, LoadAudio veya RecordAudio konuşmanızı yükler ve SaveVideo son videoyu kaydeder. Kanvasta bir MarkdownNote, yapılandırılmış istem formatını özetler ve LTX-2.3 ile ID-LoRA kaynaklarına bağlantı verir.

Teknik olarak, ID-LoRA, LTX-2.3 video difüzyon sürecine hafif bir kimlik adaptörü enjekte eder, böylece üretilen kişi referans görsele tam olarak uyar ve tam bir yeniden eğitim gerekmez. İstem, alt grafiğin beklediği üç etikete ayrılır: [VISUAL] (sahne ve görünüm), [SPEECH] (söylenecek tam metin), [SOUNDS] (konuşmacı tarzı ve ortam ipuçları). Ses, ağız şekillerini ve zamanlamayı yönlendirir; [SPEECH] ise modelin fonem düzeyinde ayrıntı çözmesini sağlar ve daha net dudak hareketleri üretir. Sonuç, sağlanan cümleyi konuşan, görsel olarak referans görsele hizalı ve zamansal olarak sesle senkronize kısa bir videodur.

Sorular ve yanıtlar