SDXL InstructPix2Pix (768768)

diffusers

Texto a imagen

Ajuste fino de instrucciones del Stable Diffusion XL (SDXL) al estilo de InstructPix2Pix. Este modelo permite transformar imágenes siguiendo instrucciones específicas, y ha sido afinado utilizando la metodología de entrenamiento InstructPix2Pix. El punto de control de este modelo es experimental y tiene espacio para mejoras.

Como usar

Asegúrese de instalar primero las librerías:
pip install accelerate transformers
pip install git+https://github.com/huggingface/diffusers

import torch
from diffusers import StableDiffusionXLInstructPix2PixPipeline
from diffusers.utils import load_image

resolution = 768
image = load_image(
"https://hf.co/datasets/diffusers/diffusers-images-docs/resolve/main/mountain.png").resize((resolution, resolution))
edit_instruction = "Turn sky into a cloudy one"

pipe = StableDiffusionXLInstructPix2PixPipeline.from_pretrained(
"diffusers/sdxl-instructpix2pix-768", torch_dtype=torch.float16
).to("cuda")

edited_image = pipe(
prompt=edit_instruction,
image=image,
height=resolution,
width=resolution,
guidance_scale=3.0,
image_guidance_scale=1.5,
num_inference_steps=30,
).images[0]
edited_image.save("edited_image.png")

Para obtener más información, consulte la documentación.

Funcionalidades

Ajuste fino de SDXL mediante instrucciones
Transformación de imágenes basada en texto
Resolución de imagen de 768x768
Escalado de orientación de imágenes

Casos de uso

Transformar el cielo en un cielo nublado
Convertir una imagen en una pintura estilo Picasso
Envejecer la apariencia de una persona