Stable Diffusion v2-1-base

stabilityai

Texto a imagen

Este es un modelo que puede ser utilizado para generar y modificar imágenes basadas en indicaciones de texto. Es un Modelo de Difusión Latente que utiliza un codificador de texto preentrenado y fijo (OpenCLIP-ViT/H). Este modelo establece y afina stable-diffusion-2-base (512-base-ema.ckpt) con 220.000 pasos adicionales, con punsafe=0.98 en el mismo conjunto de datos.

Como usar

Usando la librería Diffusers de 🤗 para ejecutar Stable Diffusion 2 de manera simple y eficiente.
pip install diffusers transformers accelerate scipy safetensors

Ejecutando el pipeline (si no cambias el scheduler, se ejecutará con el scheduler predeterminado PNDM/PLMS, en este ejemplo lo estamos cambiando a EulerDiscreteScheduler):
from diffusers import StableDiffusionPipeline, EulerDiscreteScheduler
import torch

model_id = "stabilityai/stable-diffusion-2-1-base"

scheduler = EulerDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler")
pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "a photo of an astronaut riding a horse on mars"
image = pipe(prompt).images[0]  

image.save("astronaut_rides_horse.png")

Notas:

A pesar de no ser una dependencia, recomendamos altamente instalar xformers para una atención eficiente en la memoria (mejor rendimiento).
Si tienes poca RAM de GPU disponible, asegúrate de agregar pipe.enable_attention_slicing() después de enviarlo a cuda para usar menos VRAM (a costa de la velocidad).

Funcionalidades

Generación de imágenes a partir de texto
Modelo de difusión latente que utiliza un codificador de texto preentrenado
Capacidad de modificar imágenes basadas en indicaciones textuales
Compatible con la librería 🤗 Diffusers
Optimización para un uso eficiente de la memoria

Casos de uso

Despliegue seguro de modelos que tienen el potencial de generar contenido dañino.
Sondeo y comprensión de las limitaciones y sesgos de los modelos generativos.
Generación de obras de arte y uso en procesos de diseño y otros procesos artísticos.
Aplicaciones en herramientas educativas o creativas.
Investigación sobre modelos generativos.