colecciónes flux-controlnet

XLabs-AI
Texto a imagen

Este repositorio proporciona una colección de puntos de control ControlNet para el modelo FLUX.1-dev por Black Forest Labs. La colección admite tres modelos: Canny, HED y Depth (Midas). Cada ControlNet se entrena en una resolución de 1024x1024 y funciona para la misma resolución. Se lanzan versiones v2 - versiones mejoradas y realistas, que se pueden usar directamente en ComfyUI.

Como usar

Para probar nuestros modelos, tienes dos opciones:

1. Usa el main.py de nuestro repositorio oficial
  1. Usa nuestros nodos personalizados para ComfyUI y pruébalos con los flujos de trabajo proporcionados (revisa la carpeta /workflows)

Ejemplos de cómo lanzar nuestros modelos:

Canny ControlNet (versión 2)

  1. Clona nuestros nodos personalizados x-flux-comfyui
  2. Lanza ComfyUI
  3. Prueba nuestro canny_workflow.json

Canny ControlNet (versión 1)

Clona nuestro repositorio, instala los requisitos, lanza main.py en la línea de comandos con los parámetros:

python3 main.py \
--prompt "un hombre vikingo con cabello blanco, cinematográfico, MM full HD" \
--image input_image_canny.jpg \
--control_type canny \
--repo_id XLabs-AI/flux-controlnet-collections --name flux-canny-controlnet.safetensors --device cuda --use_controlnet \
--model_type flux-dev --width 768 --height 768 \
--timestep_to_start_cfg 1 --num_steps 25 --true_gs 3.5 --guidance 4

Depth ControlNet (versión 2)

  1. Clona nuestros nodos personalizados x-flux-comfyui
  2. Lanza ComfyUI
  3. Prueba nuestro depth_workflow.json

Depth ControlNet (versión 1)

Clona nuestro repositorio, instala los requisitos, lanza main.py en la línea de comandos con los parámetros:

python3 main.py \
--prompt "Foto del hombre calvo con barba y laptop, full hd, foto cinematográfica" \
--image input_image_depth1.jpg \
--control_type depth \
--repo_id XLabs-AI/flux-controlnet-collections --name flux-depth-controlnet.safetensors --device cuda --use_controlnet \
--model_type flux-dev --width 1024 --height 1024 \
--timestep_to_start_cfg 1 --num_steps 25 --true_gs 3.5 --guidance 4

HED ControlNet (versión 1)

python3 main.py \
--prompt "arte 2D de una mujer africana rica sentada, full hd, foto cinematográfica" \
--image input_image_hed1.jpg \
--control_type hed \
--repo_id XLabs-AI/flux-controlnet-collections --name flux-hed-controlnet.safetensors --device cuda --use_controlnet \
--model_type flux-dev --width 768 --height 768 \
--timestep_to_start_cfg 1 --num_steps 25 --true_gs 3.5 --guidance 4

Funcionalidades

Compatibilidad con tres modelos: Canny, HED, Depth (Midas)
Entrenamiento y funcionamiento en resolución 1024x1024
Versiones v2 mejoradas y más realistas disponibles
Integración directa con ComfyUI usando nodos personalizados

Casos de uso

Generación de imágenes cinematográficas de alta definición
Creación de ilustraciones de estilo visual específico (como arte 2D, arte de anime estilo Ghibli)
Generación de entornos fotográficos realistas (como paisajes japoneses con cerezos)