Modelo de Consistencia Latente (LCM): SDXL

latent-consistency

Texto a imagen

El Modelo de Consistencia Latente (LCM) fue propuesto en los Modelos de Consistencia Latente: Sintetizando Imágenes de Alta Resolución con Inferencia de Pocos Pasos por Simian Luo, Yiqin Tan et al. y Simian Luo, Suraj Patil, y Daniel Gu aplicaron exitosamente el mismo enfoque para crear LCM para SDXL. Este punto de control es una versión destilada de LCM del modelo base de stable-diffusion-xl-base-1.0 que permite reducir el número de pasos de inferencia a solo entre 2 - 8 pasos.

Como usar

LCM SDXL es compatible con la biblioteca 🤗 Hugging Face Diffusers desde la versión v0.23.0 en adelante. Para ejecutar el modelo, primero instale la última versión de la biblioteca Diffusers, así como peft, accelerate y transformers.
pip install --upgrade pip
pip install --upgrade diffusers transformers accelerate peft

Text-to-Image
El modelo se puede cargar con su pipeline base stabilityai/stable-diffusion-xl-base-1.0. A continuación, se debe cambiar el scheduler a LCMScheduler y se puede reducir el número de pasos de inferencia a solo 2 a 8 pasos. Asegúrese de desactivar guidance_scale o usar valores entre 1.0 y 2.0.
from diffusers import UNet2DConditionModel, DiffusionPipeline, LCMScheduler
import torch

unet = UNet2DConditionModel.from_pretrained("latent-consistency/lcm-sdxl", torch_dtype=torch.float16, variant="fp16")
pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", unet=unet, torch_dtype=torch.float16, variant="fp16")

pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
pipe.to("cuda")

prompt = "una imagen de primer plano de un anciano bajo la lluvia"

image = pipe(prompt, num_inference_steps=4, guidance_scale=8.0).images[0]

Image-to-Image
¡También funciona! TODO docs
Inpainting
¡También funciona! TODO docs
ControlNet
¡También funciona! TODO docs
T2I Adapter
¡También funciona! TODO docs
Benchmark de Velocidad
TODO
Entrenamiento
TODO

Funcionalidades

Text-to-Image
Image-to-Image
Inpainting
ControlNet
T2I Adapter
Benchmark de Velocidad
Entrenamiento

Casos de uso

Generación de imágenes de texto a imagen (Text-to-Image)
Transformación de una imagen en otra (Image-to-Image)
Pintura digital en imágenes (Inpainting)
Control específico en la generación de imágenes (ControlNet)
Adaptación de texto a imágenes (T2I Adapter)