このComfyUIワークフローは、静止キャラクター画像と音声ファイルを組み合わせてリップシンク動画を作成します。Wan2.1 InfiniteTalkモデルの力を活用し、アップロードした音声を解析して発話内容に合わせた口の動きを生成し、リアルなリップシンク効果を実現します。プロセスは「LoadAudio」ノードで音声ファイルを読み込み、同時に「LoadImage」ノードでキャラクター画像をアップロードします。ComfyUI-WanVideoWrapperやaudio-separation-nodes-comfyuiなどのカスタムノードで音声処理と映像要素の同期を行い、最終的に「SaveVideo」ノードで口の動きが音声と完全に一致した動画ファイルを出力します。
技術的には、高度な音声解析と動画生成技術を活用しています。audio-separation-nodes-comfyuiノードは音声を口の形状にマッピングできる成分に分解し、comfyui-kjnodesがこれらの動きをキャラクター画像に合成します。複雑なアニメーションソフト不要でアニメーション動画を作成できるため、ストーリーテリングや視聴者のエンゲージメント向上に役立つツールです。
API
このワークフローをコードから利用
すべてのComfyワークフローはJSONグラフです。以下のペイロードは、このワークフローそのものであり、ComfyUIが実行する内容と同じです — このURLから取得し、バージョン管理に保存したり、ComfyUIで読み込んでノードごとに実行できます。
Comfy SDKを使ってTypeScriptまたはPythonから実行できます。同じコードでComfy Cloudや自身でホストしたComfyUIのどちらにも対応 — ベースURLだけが異なります。
// Install (beta)
npm i @comfyorg/sdk
// Run "オーディオ駆動キャラクターリップシンク動画" (TypeScript)
import { Comfy } from "@comfyorg/sdk";
const client = new Comfy({ apiKey: "comfyui-..." });
// This workflow, exported in API format (see note below)
const wf = await client.workflows.fromFile("templates-wan2_1_infinitetalk_music_api.json");
const asset = client.assets.fromFile("input.png");
wf.setInput("284", "image", asset); // LoadImage
const job = await client.run(wf);
await job.getOutputs("325")[0].toFile("output.png"); // SaveVideoSDKはAPI形式のワークフローを受け取ります：このワークフローをComfyUIで開き、「ファイル → ワークフローをエクスポート（API）」を使用してください。
FAQ
