Stable Diffusion v2-1-unclip (pequeño)
stabilityai
Texto a imagen
Este modelo es una versión afinada de Stable Diffusion 2.1, modificada para aceptar embebidos de imágenes CLIP (ruidosos) además del mensaje de texto, y puede ser utilizado para crear variaciones de imágenes o puede ser encadenado con precursores de texto a imagen CLIP. La cantidad de ruido añadido al embebido de imagen puede ser especificada mediante el nivel de ruido (0 significa sin ruido, 1000 ruido total). Es un modelo de generación de imágenes basado en la difusión que usa un codificador de texto preentrenado fijo (OpenCLIP-ViT/H).
Como usar
Usándolo con la biblioteca de Difusores de 🤗 para ejecutar Stable Diffusion UnCLIP 2-1-small de manera simple y eficiente.
pip install diffusers transformers accelerate scipy safetensors
Running the pipeline (if you don't swap the scheduler it will run with the default DDIM, in this example we are swapping it to DPMSolverMultistepScheduler):
```python
from diffusers import DiffusionPipeline
from diffusers.utils import load_image
import torch
pipe = DiffusionPipeline.from_pretrained('stabilityai/stable-diffusion-2-1-unclip-small', torch_dtype=torch.float16)
pipe.to('cuda')
# obtener imagen
url = 'https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/stable_unclip/tarsila_do_amaral.png'
image = load_image(url)
# ejecutar variación de imagen
image = pipe(image).images[0]
Funcionalidades
- Generación de imágenes a partir de texto.
- Puede aceptar embebidos de imágenes CLIP ruidosos.
- Permite crear variaciones de imágenes.
- Utiliza un codificador de texto preentrenado fijo.
Casos de uso
- Despliegue seguro de modelos con el potencial de generar contenido dañino.
- Exploración y comprensión de las limitaciones y sesgos de los modelos generativos.
- Generación de obras de arte y uso en procesos de diseño y otros procesos artísticos.
- Aplicaciones en herramientas educativas o creativas.
- Investigación sobre modelos generativos.