Sora 2: из текста и изображения в видео
Генерация видео OpenAI Sora-2 и Sora-2 Pro с синхронизированным аудио.
О проекте
Этот рабочий процесс ComfyUI демонстрирует сквозную генерацию «текст- и изображение-в-видео» с помощью ноды OpenAIVideoSora2, с опциональным синхронизированным аудио. Вы можете начать только с текстового промпта или задать условие по видео с помощью эталонного изображения, загруженного через LoadImage. Поскольку Sora-2 и Sora-2 Pro ожидают фиксированные входные размеры, рабочий процесс предлагает две ветки, чтобы подогнать изображение: вариант 1 использует ResizeAndPadImage, чтобы добавить поля без обрезки, а вариант 2 обрезает изображение, заполняя кадр. PreviewImage позволяет проверить кадрирование перед вызовом API, а SaveVideo записывает возвращённое видео на диск.
Что вы предоставляете
- Чтение рабочего процесса
Работает в ComfyUI. Этот рабочий процесс нельзя запустить на этой странице. Откройте его в Comfy Cloud, где всё уже загружено, или скачайте его для своей ComfyUI.
Попробовать в CloudВопросы и ответы
Используйте Sora-2 для 720x1280 или 1280x720, когда нужен более быстрый результат со стандартным соотношением сторон. Выбирайте Sora-2 Pro, если нужны дополнительные размеры (1024x1792, 1792x1024) или более высокая точность. Всегда приводите входное изображение к точному выбранному разрешению.
Используйте Option1 - Pad image (ResizeAndPadImage), чтобы добавить поля (letterbox) и сохранить всё изображение, либо Option 2 - Crop image, чтобы заполнить кадр от края до края. Перед запуском API проверьте результат в PreviewImage. API отклонит несовпадающие размеры.
Да. Обойдите ветку изображения (выделите эти ноды и нажмите Ctrl-B), чтобы OpenAIVideoSora2 получила только текстовый промпт. Позже можно снова включить путь с изображением, чтобы вернуться к image-to-video.
Если доступно, API OpenAIVideoSora2 возвращает видео с синхронизированным аудио. SaveVideo записывает полученный видеофайл на диск. Если ответ API без звука, в выводе аудио не будет.
Проверьте, что вы запускаете в безопасной среде с доступом к localhost/127.0.0.1, что API-учётные данные заданы в ноде OpenAIVideoSora2, и что фаервол/прокси не блокирует запрос. Смотрите ссылки с обзором партнёрской ноды и ценами в MarkdownNote.
Похожие рабочие процессы
- OpenAI
OpenAI: ChatGPT
- OpenAI
OpenAI: Dall-E 2 Инпейнтинг
- OpenAI
OpenAI: Dall-E 2 текст в изображение
- OpenAI
OpenAI: Dall-E 3 текст в изображение
- GPT-Image-1, OpenAI
OpenAI: GPT-Image-1 Изображение в изображение
- GPT-Image-1, OpenAI
OpenAI: GPT-Image-1 Инпейнтинг
- GPT-Image-1, OpenAI
OpenAI: GPT-Image-1 множественные входы
- GPT-Image-1, OpenAI
OpenAI: GPT-Image-1 текст в изображение
- Google Gemini Image, Nano Banana Pro, Google, Kling, Kling O1, OpenAI
Видео моды из героя и аксессуаров
- GPT-Image-1.5, OpenAI
Генератор модных билбордов