AI on the Lot 2026 - QwenVL - i2t
El tercer flujo de trabajo lanzado para AI on the Lot 2026, disponible para los asistentes al taller ComfyUI 101 para que lo abran y sigan si lo desean. Un creador simple de prompts de imagen a texto usando Qwen VL, útil para generar prompts a partir de imágenes de referencia.
Acerca de
Este flujo de trabajo convierte cualquier imagen en texto descriptivo que sigue instrucciones usando Qwen-VL dentro de ComfyUI. Es una cadena simple y fiable: LoadImage carga tu fotograma o foto en el grafo, AILab_QwenVL ejecuta el modelo de visión-lenguaje Qwen-VL para generar captions o respuestas según tu instrucción, y PreviewAny muestra el texto resultante directamente en la interfaz. Como AILab_QwenVL acepta tanto una imagen como un prompt, puedes orientar la salida hacia texto alternativo conciso, desglose detallado de la escena, etiquetas o incluso transcripciones estilo OCR.
Lo que proporcionas
- Leyendo el flujo de trabajo
Se ejecuta en ComfyUI. Este flujo de trabajo no puede ejecutarse en esta página. Ábrelo en Comfy Cloud con todo cargado o descárgalo para tu propio ComfyUI.
Probar en CloudPreguntas y respuestas
AILab_QwenVL ejecuta un modelo Qwen-VL de visión-lenguaje sobre la entrada de LoadImage. Toma tu instrucción (prompt) y la imagen, y luego genera texto —como un caption, una lista de objetos o una respuesta a una pregunta sobre la imagen— que PreviewAny muestra.
Depende de cómo esté configurado AILab_QwenVL en tu entorno. Muchas configuraciones cargan pesos locales y funcionan totalmente sin conexión. Si tu nodo está configurado para llamar a un backend remoto, puede que necesites acceso a la red o credenciales. Revisa la selección de modelo de tu nodo y su documentación.
Guía al modelo con instrucciones explícitas (p. ej., "Caption de una frase", "Devuelve palabras clave separadas por comas" o "Devuelve JSON con campos: setting, subjects, actions"). Si tu nodo expone ajustes como tokens máximos o temperature, úsalos para limitar la longitud y hacer los resultados más deterministas.
Usa prompts claros y específicos (p. ej., "Transcribe todo el texto legible exactamente, línea por línea"), proporciona imágenes suficientemente grandes y nítidas, y reduce la temperature para tareas factuales. Si la escena está cargada, recorta al área relevante antes de ejecutar LoadImage para que el modelo se centre en lo importante.