benjamin-paine/sd-xl-alternative-bases

benjamin-paine

Texto a imagen

Repositorio de modelos alternativos o ajustados de Stable Diffusion XL Base 1.0 en formato .safetensors. Incluye una variante base SDXL con VAE FP16 integrado y una variante de inpainting derivada de SDXL Inpainting 0.1, pensadas para generación y modificación de imágenes a partir de prompts de texto.

Como usar

Instalación y uso con Diffusers:
pip install -U diffusers transformers accelerate

import torch
from diffusers import AutoPipelineForInpainting
from diffusers.utils import load_image

# switch to "mps" for apple devices
pipe = AutoPipelineForInpainting.from_pretrained(
    "benjamin-paine/sd-xl-alternative-bases",
    dtype=torch.float16,
    variant="fp16",
    device_map="cuda"
)

img_url = "https://raw.githubusercontent.com/CompVis/latent-diffusion/main/data/inpainting_examples/overture-creations-5sI6fQgYIuo.png"
mask_url = "https://raw.githubusercontent.com/CompVis/latent-diffusion/main/data/inpainting_examples/overture-creations-5sI6fQgYIuo_mask.png"

image = load_image(img_url).resize((1024, 1024))
mask_image = load_image(mask_url).resize((1024, 1024))
prompt = "a tiger sitting on a park bench"
generator = torch.Generator(device="cuda").manual_seed(0)

image = pipe(
    prompt=prompt,
    image=image,
    mask_image=mask_image,
    guidance_scale=8.0,
    num_inference_steps=20,  # steps between 15 and 30 work well for us
    strength=0.99,  # make sure to use `strength` below 1.0
    generator=generator,
).images[0]

También puede usarse con notebooks como Google Colab o Kaggle y aplicaciones locales como Draw Things y DiffusionBee.

Funcionalidades

Modelo de difusión latente para generación texto-a-imagen.
Compatible con Diffusers mediante AutoPipelineForInpainting.
Incluye checkpoints .safetensors para SDXL Base 1.0 con VAE FP16 y SDXL inpainting.
Permite crear checkpoints de inpainting para modelos SDXL ajustados usando la fórmula A + (B - C).
Usa dos codificadores de texto preentrenados: OpenCLIP-ViT/G y CLIP-ViT/L.
Licencia CreativeML Open RAIL++-M / openrail++.

Casos de uso

Investigación en modelos generativos de imagen.
Generación de obras artísticas y apoyo a procesos de diseño creativo.
Herramientas educativas o creativas basadas en generación de imágenes.
Inpainting y modificación de imágenes mediante máscara y prompt textual.
Creación de checkpoints de inpainting a partir de modelos SDXL ajustados.
Estudio de limitaciones, sesgos y despliegue seguro de modelos generativos con potencial de producir contenido dañino.