xinsir/controlnet-union-sdxl-1.0

ControlNet++: ¡ControlNet todo-en-uno para la generación y edición de imágenes! ProMax Model ha sido lanzado!! 12 controles + 5 ediciones avanzadas, ¡solo pruébalo!!! ProMax Model ha sido lanzado!! 12 controles + 5 ediciones avanzadas, ¡solo pruébalo!!! Arquitectura de Red Ventajas del modelo: - Utiliza entrenamiento en bucket como novelai, puede generar imágenes de alta resolución de cualquier relación de aspecto. - Utiliza una gran cantidad de datos de alta calidad (más de 10,000,000 de imágenes), el conjunto de datos cubre una diversidad de situaciones. - Utiliza un prompt recaptionado como DALLE.3, utiliza CogVLM para generar descripciones detalladas, buena capacidad de seguir indicaciones. - Utiliza muchos trucos útiles durante el entrenamiento. Incluyendo, pero no limitado a, aumento de datos, múltiples pérdidas, multi-resolución. - Usa casi el mismo parámetro comparado con el ControlNet original. Sin aumento evidente en el parámetro de red o la computación. - Soporta más de 10 condiciones de control, sin reducción evidente de rendimiento en ninguna condición respecto al entrenamiento independiente. - Soporta generación en múltiples condiciones, la fusión de condiciones se aprende durante el entrenamiento. No es necesario configurar hiperparámetros o diseñar indicaciones. - Compatible con otros modelos SDXL de código abierto, como BluePencilXL, CounterfeitXL. Compatible con otros modelos Lora. Diseñamos una nueva arquitectura que puede soportar más de 10 tipos de control en generación de texto a imagen y puede generar imágenes de alta resolución visualmente comparables con midjourney. La red se basa en la arquitectura original de ControlNet, proponemos dos nuevos módulos para: 1. Extender el ControlNet original para soportar diferentes condiciones de imagen utilizando el mismo parámetro de red. 2. Soportar la entrada de múltiples condiciones sin aumentar la carga de computación, lo cual es especialmente importante para diseñadores que desean editar imágenes en detalle. Las diferentes condiciones utilizan el mismo codificador de condiciones, sin añadir computaciones o parámetros extra. Realizamos experimentos exhaustivos en SDXL y logramos un rendimiento superior tanto en capacidad de control como en puntuación estética. Lanzamos el método y el modelo a la comunidad de código abierto para que todos puedan disfrutarlo. Los scripts de inferencia y más detalles se pueden encontrar: https://github.com/xinsir6/ControlNetPlus/tree/main Si lo encuentras útil, por favor dame una estrella, muchas gracias. La versión ProMax de SDXL ha sido lanzada!!! ¡Disfrútala! Lamento que debido a que los ingresos y gastos del proyecto son difíciles de equilibrar, los recursos GPU se asignan a otros proyectos más rentables, el entrenamiento de SD3 se detiene hasta que encuentre suficiente soporte GPU, haré mi mejor esfuerzo para encontrar GPUs para continuar el entrenamiento. Si esto te trae inconveniente, me disculpo sinceramente por ello. Quiero agradecer a todos los que les gusta este proyecto, tu apoyo es lo que me motiva a seguir. Nota: ponemos el modelo promax con un sufijo promax en el mismo repositorio de modelos de huggingface, se agregarán instrucciones detalladas más tarde.