Steamboat Willie LoRA 14B
benjamin-paine
Texto a video
Adaptador LoRA para Wan2.1-T2V-14B que genera vídeos con la estética de Steamboat Willie y la animación de la era dorada. Fue entrenado con clips de la película divididos por escenas y descritos mediante Qwen2.5-VL-3B-Instruct.
Como usar
Instala Diffusers desde GitHub y carga el adaptador LoRA sobre Wan2.1-T2V-14B-Diffusers:
pip install git+https://github.com/huggingface/diffusers.git
import torch
from diffusers.utils import export_to_video
from diffusers import AutoencoderKLWan, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler
model_id = "Wan-AI/Wan2.1-T2V-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(
model_id,
subfolder="vae",
torch_dtype=torch.float32
)
pipe = WanPipeline.from_pretrained(
model_id,
vae=vae,
torch_dtype=torch.bfloat16
)
pipe.scheduler = UniPCMultistepScheduler.from_config(
pipe.scheduler.config,
flow_shift=5.0
)
pipe.to("cuda")
pipe.load_lora_weights("benjamin-paine/steamboat-willie-14b")
pipe.enable_model_cpu_offload()
prompt = "steamboat willie style, golden era animation, an anthropomorphic cat character wearing a hat removes it and performs a courteous bow"
negative_prompt = "色调艳丽,过曝,静态,细节模糊不清,字幕,风格,作品,画作,画面,静止,整体发灰,最差质量,低质量,JPEG压缩残留,丑陋的,残缺的,多余的手指,画得不好的手部,画得不好的脸部,畸形的,毁容的,形态畸形的肢体,手指融合,静止不动的画面,杂乱的背景,三条腿,背景人很多,倒着走"
output = pipe(
prompt=prompt,
negative_prompt=negative_prompt,
height=720,
width=1280,
num_frames=81,
guidance_scale=5.0,
num_inference_steps=32
).frames[0]
export_to_video(output, "output.mp4", fps=16)
Funcionalidades
- Generación de texto a vídeo con estética de animación clásica en blanco y negro.
- Compatible con el modelo base Wan-AI/Wan2.1-T2V-14B.
- Utiliza la frase de activación «steamboat willie style»; se recomienda combinarla con «golden era animation».
- Pesos LoRA disponibles en formato Safetensors.
- Admite descarga de parte del modelo a la CPU para equipos con poca VRAM.
- Publicado bajo licencia CC0 1.0.
Casos de uso
- Crear secuencias de vídeo con apariencia de dibujos animados de la era dorada.
- Reinterpretar personajes y escenas modernas con el estilo visual de Steamboat Willie.
- Producir animaciones cortas de personajes antropomórficos con estética cinematográfica clásica.
- Experimentar con generación estilizada de vídeo mediante adaptadores LoRA para Wan2.1.