Stable Diffusion Inpainting

runwayml

Texto a imagen

Stable Diffusion Inpainting es un modelo latente de difusión de texto a imagen capaz de generar imágenes fotorrealistas dado cualquier entrada de texto, con la capacidad adicional de pintar las imágenes usando una máscara. El modelo Stable-Diffusion-Inpainting se inició con los pesos de Stable-Diffusion-v-1-2. Primero, 595k pasos de entrenamiento regular, luego 440k pasos de entrenamiento de inpainting a una resolución de 512x512 en 'laion-aesthetics v2 5+' y con una disminución del 10% del text-conditioning para mejorar el muestreo guía sin clasificador. Para el inpainting, el UNet tiene 5 canales de entrada adicionales (4 para la imagen codificada con máscara y 1 para la propia máscara) cuyos pesos se inicializaron a cero después de restaurar el punto de control sin inpainting. Durante el entrenamiento, generamos máscaras sintéticas y en el 25% de los casos enmascaramos todo.

Como usar

from diffusers import StableDiffusionInpaintPipeline

pipe = StableDiffusionInpaintPipeline.from_pretrained(
  "runwayml/stable-diffusion-inpainting",
  revision="fp16",
  torch_dtype=torch.float16,
)
prompt = "Cara de un gato amarillo, alta resolución, sentado en un banco de parque"
# La imagen y la imagen de la máscara deberían ser imágenes PIL.
# La máscara es blanca para el inpainting y negra para mantener tal cual.
image = pipe(prompt=prompt, image=image, mask_image=mask_image).images[0]
image.save("./yellow_cat_on_park_bench.png")

Funcionalidades

Generación de imágenes fotorrealistas a partir de texto
Capacidades de inpainting usando una máscara
Modelo basado en la difusión latente
Codificación de texto mediante el codificador de texto CLIP ViT-L/14
Utiliza un autoencoder con un modelo de difusión entrenado en el espacio latente del autoencoder

Casos de uso

Propósitos de investigación
Despliegue seguro de modelos que tienen el potencial de generar contenido dañino
Exploración y comprensión de las limitaciones y sesgos de los modelos generativos
Generación de obras de arte y uso en diseño y otros procesos artísticos
Aplicaciones en herramientas educativas o creativas
Investigación sobre modelos generativos