Kandinsky 2.2

Kandinsky 2.2 está disponible en diffusers!

pip install diffusers transformers accelerate

from diffusers import AutoPipelineForInpainting
from diffusers.utils import load_image
import torch
import numpy as np

pipe = AutoPipelineForInpainting.from_pretrained("kandinsky-community/kandinsky-2-2-decoder-inpaint", torch_dtype=torch.float16)
pipe.enable_model_cpu_offload()

prompt = "un sombrero"

init_image = load_image(
"https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/kandinsky/cat.png")

mask = np.zeros((768, 768), dtype=np.float32)
# Vamos a enmascarar un área sobre la cabeza del gato
mask[:250, 250:-250] = 1

out = pipe(
prompt=prompt,
image=init_image,
mask_image=mask,
height=768,
width=768,
num_inference_steps=150,
)

image = out.images[0]
image.save("gato_con_sombrero.png")

🚨🚨🚨 Cambio disruptivo para la pintura de máscaras de Kandinsky 🚨🚨🚨 Hemos introducido un cambio disruptivo en la tubería de pintura de máscaras de Kandinsky en la siguiente solicitud de extracción: https://github.com/huggingface/diffusers/pull/4207. Anteriormente aceptábamos un formato de máscara donde los píxeles negros representaban el área enmascarada. Esto es inconsistente con todas las demás tuberías en diffusers. Hemos cambiado el formato de la máscara en Kandinsky y ahora usamos píxeles blancos en su lugar. Por favor, actualice su código de pintura para seguir lo anterior. Si está usando Kandinsky Inpaint en producción, ahora necesita cambiar la máscara a:

# Para entrada PIL
import PIL.ImageOps
mask = PIL.ImageOps.invert(mask)

# Para entrada PyTorch y Numpy
mask = 1 - mask