sdxl-cinematic-1

jbilcke-hf
Texto a imagen

Estos son los pesos de adaptación de LoRA para stabilityai/stable-diffusion-xl-base-1.0 entrenados con el entrenador SD-XL de @fffiloni. Los pesos fueron entrenados con el indicador de concepto: cnmt. Usa esta palabra clave para activar tu modelo personalizado en tus indicaciones. LoRA para el codificador de texto fue habilitado: Falso. VAE especial utilizado para el entrenamiento: madebyollin/sdxl-vae-fp16-fix.

Como usar

Asegúrate de actualizar diffusers a >= 0.19.0:

pip install diffusers --upgrade

Además, asegúrate de instalar transformers, safetensors, accelerate así como el watermark invisible:

pip install invisible_watermark transformers accelerate safetensors

Para solo usar el modelo base, puedes ejecutar el siguiente código:

import torch
from diffusers import DiffusionPipeline, AutoencoderKL

device = "cuda" if torch.cuda.is_available() else "cpu"
vae = AutoencoderKL.from_pretrained('madebyollin/sdxl-vae-fp16-fix', torch_dtype=torch.float16)
pipe = DiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0",
vae=vae, torch_dtype=torch.float16, variant="fp16",
use_safetensors=True
)
pipe.to(device)
# Aquí es donde cargas tus pesos entrenados
specific_safetensors = "pytorch_lora_weights.safetensors"
lora_scale = 0.9
pipe.load_lora_weights(
'jbilcke-hf/sdxl-cinematic-1', 
weight_name = specific_safetensors
# use_auth_token = True
)
prompt = "A majestic cnmt jumping from a big stone at night"
image = pipe(
prompt=prompt, 
num_inference_steps=50,
cross_attention_kwargs={"scale": lora_scale}
).images[0]

Funcionalidades

Adapta pesos de LoRA para la base stabilityai/stable-diffusion-xl-1.0
Entrenado con el entrenador SD-XL de @fffiloni
Usa el indicador de concepto 'cnmt'
LoRA para el codificador de texto inhabilitado
Utiliza VAE especial: madebyollin/sdxl-vae-fp16-fix

Casos de uso

Generación de imágenes textuales usando el prompt personalizado 'cnmt'
Creación de modelos personalizados con la adaptación LoRA