Kolors-ControlNet-Canny
Kwai-Kolors
Texto a imagen
Kolors-ControlNet-Canny es un modelo basado en Kolors-Basemodel que ofrece dos pesos de ControlNet y código de inferencia: Canny y Depth. Este modelo se ha evaluado rigurosamente y ha demostrado un mejor rendimiento en varios criterios visuales y de control comparado con otros modelos.
Como usar
Requisitos
Las dependencias e instalación son básicamente las mismas que el Kolors-BaseModel.
Descarga de pesos:
# Canny - ControlNet
huggingface-cli download --resume-download Kwai-Kolors/Kolors-ControlNet-Canny --local-dir weights/Kolors-ControlNet-Canny
# Depth - ControlNet
huggingface-cli download --resume-download Kwai-Kolors/Kolors-ControlNet-Depth --local-dir weights/Kolors-ControlNet-Depth
Inferencia:
Usando Canny ControlNet:
python ./controlnet/sample_controlNet.py ./controlnet/assets/woman_1.png "Una chica bonita, alta calidad, ultra clara, colores vibrantes, resolución ultra alta, mejor calidad, 8k, HD, 4K" Canny
python ./controlnet/sample_controlNet.py ./controlnet/assets/dog.png "Vista panorámica, un lindo perrito blanco sentado en una taza, mirando a la cámara, estilo anime, renderizado 3D, renderizado de octano" Canny
La imagen se guardará en "controlnet/outputs/"
Usando Depth ControlNet:
python ./controlnet/sample_controlNet.py ./controlnet/assets/woman_2.png "Estilo Shinkai Makoto, colores ricos, una mujer con una camisa verde parada en un campo, paisaje hermoso, fresco y brillante, luces y sombras moteadas, mejor calidad, ultra detalle, calidad 8K" Depth
python ./controlnet/sample_controlNet.py ./controlnet/assets/bird.png "Un pajarito colorido, alta calidad, ultra claro, colores vibrantes, resolución ultra alta, mejor calidad, 8k, HD, 4K" Depth
La imagen se guardará en "controlnet/outputs/"
Usando Depth ControlNet + IP-Adapter-Plus:
Si planea utilizar el kolors-ip-adapter-plus, asegúrese de descargar sus pesos correspondientes del modelo.
python ./controlnet/sample_controlNet_ipadapter.py ./controlnet/assets/woman_2.png ./ipadapter/asset/2.png "Una chica con cabello rojo, paisaje hermoso, fresco y brillante, luces y sombras moteadas, mejor calidad, ultra detalle, calidad 8K" Depth
La imagen se guardará en "controlnet/outputs/"
Descarga de modelo de estimación de profundidad:
huggingface-cli download lllyasviel/Annotators ./dpt_hybrid-midas-501f0c75.pt --local-dir ./controlnet/annotator/ckpts
Funcionalidades
- Dos pesos de ControlNet: Canny y Depth
- Código de inferencia
- Compatibilidad con Kolors-IPadapter
- Evaluación rigurosa con más de 200 imágenes y indicaciones de texto.
- Soporte para la conservación de la estructura espacial a través de la 'controlabilidad condicional'
Casos de uso
- Generación de imágenes con Canny ControlNet
- Generación de imágenes con Depth ControlNet
- Generación de imágenes con ControlNet + IP-Adapter-Plus
- Evaluación de la calidad de imagen en términos de atractivo visual, fidelidad al texto, y control condicional