sd2-community/stable-diffusion-2-1-unclip-small

sd2-community

Texto a imagen

Modelo Stable Diffusion v2.1 UnCLIP small para generación y variación de imágenes. Es una versión afinada de Stable Diffusion 2.1 que acepta embeddings de imagen CLIP con ruido además de prompts de texto, lo que permite crear variaciones de una imagen o encadenarlo con priors CLIP de texto a imagen. El nivel de ruido del embedding puede ajustarse con `noise_level`, desde 0 sin ruido hasta 1000 con ruido completo.

Como usar

Instalación y uso básico con Diffusers:
pip install -U diffusers transformers accelerate

import torch
from diffusers import DiffusionPipeline

# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained(
    "sd2-community/stable-diffusion-2-1-unclip-small",
    dtype=torch.bfloat16,
    device_map="cuda"
)

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image = pipe(prompt).images[0]

Ejemplo de variación de imagen con Diffusers:
pip install diffusers transformers accelerate scipy safetensors

from diffusers import DiffusionPipeline
from diffusers.utils import load_image
import torch

pipe = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-2-1-unclip-small",
    torch_dtype=torch.float16
)
pipe.to("cuda")

url = "https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/stable_unclip/tarsila_do_amaral.png"
image = load_image(url)

image = pipe(image).images[0]

Funcionalidades

Generación de imágenes a partir de texto mediante difusión latente.
Creación de variaciones de imagen usando embeddings CLIP de imagen.
Compatible con Diffusers y `StableUnCLIPImg2ImgPipeline`.
Usa un codificador de texto OpenCLIP-ViT/H fijo y preentrenado.
Permite controlar la intensidad de variación mediante `noise_level`.
Distribuido con pesos Safetensors bajo licencia OpenRAIL++.

Casos de uso

Investigación sobre despliegue seguro de modelos generativos capaces de producir contenido sensible.
Estudio de limitaciones, sesgos y comportamiento de modelos de generación de imágenes.
Generación de arte, diseño visual y procesos creativos asistidos.
Herramientas educativas o creativas basadas en generación y variación de imágenes.
Investigación sobre modelos generativos y difusión latente.