stabilityai/stable-diffusion-2-1-unclip
Esta tarjeta de modelo se enfoca en el modelo asociado con el modelo Stable Diffusion v2-1, cuyo código base está disponible aquí. Este stable-diffusion-2-1-unclip es una versión ajustada de Stable Diffusion 2.1, modificada para aceptar la incrustación de imágenes CLIP (ruidosas) además del texto, y se puede usar para crear variaciones de imágenes o se puede encadenar con prioridades de texto a imagen CLIP. La cantidad de ruido agregada a la incrustación de imágenes puede especificarse a través del nivel de ruido (0 significa sin ruido, 1000 ruido completo).
Como usar
Usando la biblioteca Diffusers de 🤗's para ejecutar Stable Diffusion UnCLIP 2-1-small de manera simple y eficiente.
pip install diffusers transformers accelerate scipy safetensors
Ejecutando el pipeline (si no cambias el planificador, se ejecutará con el DDIM por defecto, en este ejemplo lo cambiamos a DPMSolverMultistepScheduler):
from diffusers import DiffusionPipeline
from diffusers.utils import load_image
import torch
pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1-unclip-small", torch_dtype=torch.float16)
pipe.to("cuda")
# Obtener imagen
url = "https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/stable_unclip/tarsila_do_amaral.png"
image = load_image(url)
# Ejecutar variación de imagen
image = pipe(image).images[0]
Funcionalidades
- Generación y modificación de imágenes basadas en indicaciones de texto.
- Uso de un modelo de difusión latente.
- Incorporación de incrustaciones de imágenes CLIP (ruidosas).
- Posibilidad de especificar el nivel de ruido (0 sin ruido, 1000 ruido completo).
- Compatible con la biblioteca Diffusers de Hugging Face.
- Incluye ejemplos y documentación detallada.
Casos de uso
- Despliegue seguro de modelos con potencial para generar contenido dañino.
- Explorar y entender las limitaciones y sesgos de los modelos generativos.
- Generación de obras de arte y uso en procesos de diseño y otras aplicaciones artísticas.
- Aplicaciones en herramientas educativas o creativas.
- Investigación sobre modelos generativos.