stabilityai/sd-turbo
stabilityai
Texto a imagen
SD-Turbo es un modelo generativo rápido de texto a imagen que puede sintetizar imágenes fotorrealistas a partir de un texto en una sola evaluación de red. SD-Turbo es una versión destilada de Stable Diffusion 2.1, entrenada para la síntesis en tiempo real. Utiliza un método de entrenamiento novedoso llamado Adversarial Diffusion Distillation (ADD), que permite el muestreo de modelos de difusión de imágenes a gran escala en 1 a 4 pasos con alta calidad de imagen. Emplea la destilación de puntuación para utilizar modelos de difusión de imágenes a gran escala como una señal del profesor, combinándolo con una pérdida adversarial para asegurar la alta fidelidad de la imagen incluso en el régimen de pocos pasos de uno o dos pasos de muestreo.
Como usar
from diffusers import AutoPipelineForText2Image
import torch
pipe = AutoPipelineForText2Image.from_pretrained('stabilityai/sd-turbo', torch_dtype=torch.float16, variant='fp16')
pipe.to('cuda')
prompt = 'A cinematic shot of a baby racoon wearing an intricate italian priest robe.'
image = pipe(prompt=prompt, num_inference_steps=1, guidance_scale=0.0).images[0]
from diffusers import AutoPipelineForImage2Image
from diffusers.utils import load_image
import torch
pipe = AutoPipelineForImage2Image.from_pretrained('stabilityai/sd-turbo', torch_dtype=torch.float16, variant='fp16')
pipe.to('cuda')
init_image = load_image('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/cat.png').resize((512, 512))
prompt = 'cat wizard, gandalf, lord of the rings, detailed, fantasy, cute, adorable, Pixar, Disney, 8k'
image = pipe(prompt, image=init_image, num_inference_steps=2, strength=0.5, guidance_scale=0.0).images[0]
Funcionalidades
- Modelo de texto a imagen generativo rápido
- Síntesis fotorrealista
- Evaluación en una sola red
- Versión destilada de Stable Diffusion 2.1
- Método de entrenamiento Adversarial Diffusion Distillation (ADD)
- Muestreo en 1 a 4 pasos con alta calidad
- Destilación de puntuación
- Pérdida adversarial para alta fidelidad de imagen
Casos de uso
- Investigación sobre modelos generativos
- Investigación sobre aplicaciones en tiempo real de modelos generativos
- Investigación sobre el impacto de los modelos generativos en tiempo real
- Despliegue seguro de modelos con potencial para generar contenido dañino
- Prueba y entendimiento de las limitaciones y sesgos de los modelos generativos
- Generación de obras de arte y uso en procesos de diseño y otras aplicaciones artísticas
- Aplicaciones en herramientas educativas o creativas