Stable Cascade
stabilityai
Texto a imagen
Este modelo está construido sobre la arquitectura Würstchen y su principal diferencia con otros modelos como Stable Diffusion es que trabaja en un espacio latente mucho más pequeño. ¿Por qué es esto importante? Cuanto más pequeño es el espacio latente, más rápido se puede ejecutar la inferencia y más barato se vuelve el entrenamiento. El modelo es adecuado para usos donde la eficiencia es importante. Además, todas las extensiones conocidas como ajuste fino, LoRA, ControlNet, IP-Adapter, LCM, etc., también son posibles con este método.
Como usar
pip install diffusers
import torch
from diffusers import StableCascadeDecoderPipeline, StableCascadePriorPipeline
prompt = 'una imagen de un shiba inu, con un traje espacial y casco'
negative_prompt = ''
prior = StableCascadePriorPipeline.from_pretrained('stabilityai/stable-cascade-prior', variant='bf16', torch_dtype=torch.bfloat16)
decoder = StableCascadeDecoderPipeline.from_pretrained('stabilityai/stable-cascade', variant='bf16', torch_dtype=torch.float16)
prior.enable_model_cpu_offload()
prior_output = prior(
prompt=prompt,
height=1024,
width=1024,
negative_prompt=negative_prompt,
guidance_scale=4.0,
num_images_per_prompt=1,
num_inference_steps=20
)
decoder.enable_model_cpu_offload()
decoder_output = decoder(
image_embeddings=prior_output.image_embeddings.to(torch.float16),
prompt=prompt,
negative_prompt=negative_prompt,
guidance_scale=0.0,
output_type='pil',
num_inference_steps=10
).images[0]
decoder_output.save('cascade.png')
Funcionalidades
- Modelo de difusión generativo entrenado para generar imágenes dado un texto prompt.
- Desarrollado por Stability AI.
- Financiado por Stability AI.
- Modelo tipo: generativo de texto a imagen.
- Altamente comprimido para eficiencia.
- Compatible con PyTorch 2.2.0 o superior.
Casos de uso
- Investigación en modelos generativos.
- Despliegue seguro de modelos con potencial de generar contenido dañino.
- Exploración y entendimiento de las limitaciones y sesgos de los modelos generativos.
- Generación de obras de arte y uso en diseño y otros procesos artísticos.
- Aplicaciones en herramientas educativas o creativas.