Modelo de Consistencia Latente (LCM) LoRA: SSD-1B

LCM-LoRA es compatible con la biblioteca 🤗 Hugging Face Diffusers desde la versión v0.23.0 en adelante. Para ejecutar el modelo, primero instale la última versión de la biblioteca Diffusers, así como peft, accelerate y transformers.

pip install --upgrade pip
pip install --upgrade diffusers transformers accelerate peft

Text-to-Image

Primero, carguemos el modelo base segmind/SSD-1B. A continuación, el programador debe ser cambiado a LCMScheduler y podemos reducir el número de pasos de inferencia a solo 2-8 pasos. Asegúrese de deshabilitar guidance_scale o usar valores entre 1.0 y 2.0.

import torch
from diffusers import LCMScheduler, AutoPipelineForText2Image

model_id = "segmind/SSD-1B"
adapter_id = "latent-consistency/lcm-lora-ssd-1b"

pipe = AutoPipelineForText2Image.from_pretrained(model_id, torch_dtype=torch.float16, variant="fp16")
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
pipe.to("cuda")

# cargar y fusionar lcm lora
pipe.load_lora_weights(adapter_id)
pipe.fuse_lora()

prompt = "Self-portrait oil painting, a beautiful cyborg with golden hair, 8k"

# deshabilitar guidance_scale pasando 0
image = pipe(prompt=prompt, num_inference_steps=4, guidance_scale=0).images[0]