SDXL-Turbo
stabilityai
Texto a imagen
SDXL-Turbo es una versión destilada de SDXL 1.0, entrenada para la síntesis en tiempo real. SDXL-Turbo se basa en un novedoso método de entrenamiento llamado Adversarial Diffusion Distillation (ADD), el cual permite el muestreo de modelos de difusión de imágenes fundamentales a gran escala en 1 a 4 pasos con alta calidad de imagen. Este enfoque utiliza la destilación de puntuaciones para aprovechar modelos de difusión de imágenes ya establecidos como señal de profesor y lo combina con una pérdida adversarial para garantizar una alta fidelidad de imagen incluso en el régimen de pocos pasos de uno o dos pasos de muestreo.
Como usar
La instalación necesaria:
pip install diffusers transformers accelerate --upgrade
Generación de texto a imagen:
from diffusers import AutoPipelineForText2Image
import torch
pipe = AutoPipelineForText2Image.from_pretrained("stabilityai/sdxl-turbo", torch_dtype=torch.float16, variant="fp16")
pipe.to("cuda")
prompt = "A cinematic shot of a baby racoon wearing an intricate italian priest robe."
image = pipe(prompt=prompt, num_inference_steps=1, guidance_scale=0.0).images[0]
Generación de imagen a imagen:
from diffusers import AutoPipelineForImage2Image
from diffusers.utils import load_image
import torch
pipe = AutoPipelineForImage2Image.from_pretrained("stabilityai/sdxl-turbo", torch_dtype=torch.float16, variant="fp16")
pipe.to("cuda")
init_image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/cat.png").resize((512, 512))
prompt = "cat wizard, gandalf, lord of the rings, detailed, fantasy, cute, adorable, Pixar, Disney, 8k"
image = pipe(prompt, image=init_image, num_inference_steps=2, strength=0.5, guidance_scale=0.0).images[0]
Funcionalidades
- Modelo generado de texto a imagen
- Basado en Adversarial Diffusion Distillation (ADD)
- Síntesis en tiempo real
- Alta calidad de imagen en 1 a 4 pasos
Casos de uso
- Investigación sobre modelos generativos.
- Investigación sobre aplicaciones en tiempo real de modelos generativos.
- Investigación sobre el impacto de los modelos generativos en tiempo real.
- Despliegue seguro de modelos que tienen el potencial de generar contenido dañino.
- Exploración y comprensión de las limitaciones y sesgos de los modelos generativos.
- Generación de obras de arte y uso en diseño y otros procesos artísticos.
- Aplicaciones en herramientas educativas o creativas.