MiniMax H3: Reference to Video
Сгенерируйте новое видео, подав в MiniMax H3 референсное изображение, до девяти изображений, три видео и три аудиоклипа вместе с текстовым промптом — модель сможет сопоставить идентичность персонажа, движение, камеру, голос или стиль по этим источникам и при этом сгенерировать стереоаудио за один проход. Выход — один MP4-файл с видео до 2K и 24fps примерно на 15 секунд. Подходит для анимации с сохранением персонажа, генерации видео со стилевым переносом и контента с синхронизацией по аудио.
Попробовать пример
Об этом рабочем процессе
Этот рабочий процесс демонстрирует генерацию reference-to-video MiniMax H3 в ComfyUI: вы задаёте текстовый промпт плюс до девяти референсных изображений, три коротких референсных видео и три аудиоклипа, а модель за один проход выдаёт один MP4 с нативным стерео-аудио. Нода MiniMaxH3ReferenceToVideo — ядро пайплайна: она объединяет мультимодальный контекст (личность, движение, камера, стиль и голос) с вашим промптом, чтобы синтезировать клип ~15 с с разрешением до 2K и 24fps.
Внутри группа Switch Model and Settings загружает стек модели MiniMax H3 через UNETLoader и CLIPLoader, а KSamplerSelect, BasicScheduler, SamplerCustomAdvanced и BasicGuider управляют поведением сэмплинга (с seed от RandomNoise для воспроизводимости). ResolutionSelector задаёт размер 16:9, выровненный по кратности 32, а ComfyMathExpression вместе с PrimitiveFloat считает производные значения — например, число кадров по длительности и fps. После генерации VAELoader предоставляет VAE для видео и аудио; VAEDecode восстанавливает кадры из видео-латентов, а VAEDecodeAudio — стерео-волны. CreateVideo мультиплексирует кадры и аудио, а SaveVideo записывает итоговый MP4. Это делает рабочий процесс практичным для анимации с сохранением персонажа, движения под стиль и контента, синхронизированного с аудио, без отдельных шагов TTS или саунд-дизайна.
Вопросы и ответы
Скачайте MiniMax H3 из Comfy-Org/MiniMax-H3. Поместите minimax_h3_video_vae_fp16.safetensors и minimax_h3_audio_vae_fp32.safetensors в models/vae. Убедитесь, что веса H3 UNet и CLIP/text encoder лежат в корректных папках моделей ComfyUI (например, models/unet, models/clip). Перезапустите ComfyUI, чтобы UNETLoader, CLIPLoader и VAELoader смогли их найти.
Этот workflow рассчитан примерно на 15 секунд при 24fps и разрешении до 2K. Используйте пресеты 16:9 в ResolutionSelector (кратные 32), например 1152x640 или 1280x736. Более высокие разрешения, частота кадров или длительность повышают требования к VRAM и времени и могут быть нестабильными.
Используйте небольшой набор качественных референсов (начните с 1–3). Основное изображение идентичности подавайте первым. Референсные видео держите короткими и характерными для нужного движения/камеры. Чёткие промпты и умеренный guidance (CFG ~4–7) часто лучше сохраняют референсы.
Да. Если в workflow есть ComfySwitchNode на аудиопути, переведите его в режим обхода VAEDecodeAudio. Либо оставьте аудиовходы пустыми, чтобы получить минимальное аудио, а затем замените или заглушите его на этапе CreateVideo или в постобработке.
Задайте фиксированный seed в RandomNoise, чтобы воспроизводить ту же траекторию семплирования при тех же входах и настройках. Изменение seed, референсов, разрешения или параметров sampler приведёт к изменению результата.