ntc-ai/SDXL-LoRA-slider.Studio-Ghibli-style
ntc-ai
Texto a imagen
LoRA para Stable Diffusion XL orientado a imágenes de texto a imagen con estética de Studio Ghibli. Funciona como un slider de estilo: la intensidad puede ajustarse con pesos negativos, neutros o positivos para reducir o aumentar el efecto visual del estilo en generaciones SDXL.
Como usar
Instalación y uso básico con Diffusers:
pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
# switch to "mps" for apple devices
pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.bfloat16, device_map="cuda")
pipe.load_lora_weights("ntc-ai/SDXL-LoRA-slider.Studio-Ghibli-style")
prompt = "Studio Ghibli style"
image = pipe(prompt).images[0]
Uso avanzado cargando el LoRA desde Safetensors y activándolo como adaptador:
from diffusers import StableDiffusionXLPipeline
from diffusers import EulerAncestralDiscreteScheduler
import torch
pipe = StableDiffusionXLPipeline.from_single_file("https://huggingface.co/martyn/sdxl-turbo-mario-merge-top-rated/blob/main/topRatedTurboxlLCM_v10.safetensors")
pipe.to("cuda")
pipe.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.scheduler.config)
# Load the LoRA
pipe.load_lora_weights('ntc-ai/SDXL-LoRA-slider.Studio-Ghibli-style', weight_name='Studio Ghibli style.safetensors', adapter_name="Studio Ghibli style")
# Activate the LoRA
pipe.set_adapters(["Studio Ghibli style"], adapter_weights=[2.0])
prompt = "medieval rich kingpin sitting in a tavern, Studio Ghibli style"
negative_prompt = "nsfw"
width = 512
height = 512
num_inference_steps = 10
guidance_scale = 2
image = pipe(prompt, negative_prompt=negative_prompt, width=width, height=height, guidance_scale=guidance_scale, num_inference_steps=num_inference_steps).images[0]
image.save('result.png')
Funcionalidades
- Adaptador LoRA para Stable Diffusion XL base 1.0.
- Diseñado para generación de imágenes texto-a-imagen con Diffusers.
- Incluye pesos en formato Safetensors.
- Usa la palabra disparadora `Studio Ghibli style` para reforzar el efecto.
- Permite controlar la intensidad del estilo mediante pesos de adaptador o valores de slider, por ejemplo -3, 0 y 3.
- Compatible con proveedores de inferencia, notebooks y apps locales como Draw Things y DiffusionBee.
Casos de uso
- Aplicar una estética inspirada en Studio Ghibli a imágenes generadas con SDXL.
- Crear ilustraciones narrativas, personajes o escenas fantásticas con un acabado de animación dibujada.
- Experimentar con distintos niveles de intensidad del estilo usando pesos de LoRA o slider.
- Integrar un estilo visual concreto en flujos locales de Diffusers, notebooks o apps compatibles con LoRA.